[Hadoop编程实践]一个实用、清晰的MapReduce程序
今天写的日志合并MapReduce程序，重新梳理了一遍写一个MapReduce Job的要点：
1. 参数获取。
我一般都会在参数中包含这几项：输入文件路径、工作路径（.finish文件所在的目录）、输出文件路径（结果数据所在的路径，在实际工程中，一般和工作路径不同）。还有一个wait/submit参数，用来说明Job是通过waitForCompletion还是submit的方式提交，waitForCompletion在测试和调试时用，submit在生产环境中用。
2. 参数检查
各种参数的格式检查，通不过就直接退出，这一步要严格。
3. 创建Job
4. 设定mapper、reducer
可能还需要设定partitioner，sort comparator, grouping comparator，因任务的复杂程度而定。
5. 设定输入和工作路径
注意FileOutputFormat.setOutputPath(job, new Path(workingDir));设置的是workingDir，在实践中一般都将workingDir和最终数据的outputDir分开。主要是因为workingDir得到的数据都是part-00000这样的形式，不能自己命名。所以一般会在最后reducer中自己用FileWriter去创建结果数据文件，不用context.write.
6. 设定输入和输出文件格式
7. 设置配置项
为了在mapper、reducer以及Job的其他worker之间共享一些简单的数据，可以使用JobConf. 如果要共享复杂、量大的数据，可以使用DistributedCache。在最近的实践中，有用序列化文件+DistributedCache在各个Job worker之间共享HashMap，List以及其他自定义数据结构的经验，可行。
8. 提交Job
代码如下，敬请批评。
1 import java.io.IOException; 2 import java.util.regex.Matcher; 3 import java.util.regex.Pattern; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.fs.Path; 7 import org.apache.hadoop.mapred.JobConf; 8 import org.apache.hadoop.mapreduce.Job; 9 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 10 import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; 11 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 12 import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; 13 import org.apache.hadoop.util.GenericOptionsParser; 14 15 import com.hadoop.compression.lzo.LzopCodec; 16 17 /** 18 * MapReduce job to combine all hourly logs from different data-collection servers 19 * @author lsyang, 20130507 20 */ 21 public class HourlyLogCombine { 22 private static String RAW_FILE_PREFIX = "post_"; 23 private static String RAW_FILE_POSTFIX = ".log"; 24 25 public static String JOB_CONF_DATE = "HourlyLogCombine.Date"; 26 public static String JOB_CONF_HOUR = "HourlyLogCombine.Hour"; 27 public static String JOB_CONF_OUTDIR = "HourlyLogCombine.OutDir"; 28 29 private static void showHelpAndExit(String info) { 30 System.err.println("Usage: HourlyLogCombine <Date: yyyyMMdd> <Hour: hh> " + 31 "<RowLogDir, e.g. /user/click_tracker/appbi/data/raw/> " + 32 "<workingDir, e.g. /user/click_tracker/appbi/working/>" + 33 "<CombineLogDir, e.g. /user/click_tracker/appbi/data/hourly_combine/>" + 34 "<wait or submit>"); 35 if(info != null && !info.isEmpty()) { 36 System.err.println("Error: " + info); 37 } 38 System.exit(0); 39 } 40 41 private static void checkDate(String date) { 42 String regex = "^(20\\d\\d)(0\\d|1[012])(0[1-9]|[12][0-9]|3[01])$"; 43 Pattern pattern = Pattern.compile(regex); 44 Matcher matcher = pattern.matcher(date); 45 if (!matcher.find()) { 46 showHelpAndExit("wrong date format."); 47 } 48 } 49 50 private static void checkHour(String hour) { 51 String regex = "^[0-1]\\d|2[0-3]$"; 52 Pattern pattern = Pattern.compile(regex); 53 Matcher matcher = pattern.matcher(hour); 54 if (!matcher.find()) { 55 showHelpAndExit("wrong hour format."); 56 } 57 } 58 59 private static boolean checkWaitOrSubmit(String waitORsubmit) { 60 if (waitORsubmit.equalsIgnoreCase("wait")) { 61 return true; 62 } else if (waitORsubmit.equalsIgnoreCase("submit")) { 63 return false; 64 } else { 65 showHelpAndExit("wait or submit: please check the spelling."); 66 return false; 67 } 68 } 69 70 public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException { 71 // get the application-specific arguments 72 Configuration conf = new Configuration(); 73 String[] params = new GenericOptionsParser(conf, args).getRemainingArgs(); 74 if(params.length != 6) { 75 showHelpAndExit("6 params needed."); 76 } 77 78 // parameters 79 String date = params[0]; 80 String hour = params[1]; 81 String rawLogHome = params[2]; 82 String workingHome = params[3]; 83 String combinedLogHome = params[4]; 84 String waitORsubmit = params[5]; 85 if (!rawLogHome.endsWith("/")) rawLogHome += "/"; 86 if(!combinedLogHome.endsWith("/")) combinedLogHome += "/"; 87 88 // check parameters 89 checkDate(date); 90 checkHour(hour); 91 boolean wait = checkWaitOrSubmit(waitORsubmit); 92 93 // get input files 94 String inputFiles = rawLogHome + "*/" + date + "/" + RAW_FILE_PREFIX + date + "_" + hour + RAW_FILE_POSTFIX; 95 // get working dir, where the .finish file resides 96 String workingDir = workingHome + date + "/" + hour + "/"; 97 // get output dir, where the combined log file resides 98 String outDir = combinedLogHome + date + "/"; 99 100 // create a mapreduce job 101 Job job = new Job(conf, "HourlyLogCombine"); 102 job.setJarByClass(HourlyLogCombine.class); 103 104 // set mapper, partitioner and reducer 105 job.setMapperClass(HourlyLogCombineMapper.class); 106 job.setPartitionerClass(HourlyLogCombinePartitioner.class); 107 job.setReducerClass(HourlyLogCombineReducer.class); 108 109 // set input and output dir 110 FileInputFormat.addInputPath(job, new Path(inputFiles)); 111 FileOutputFormat.setOutputPath(job, new Path(workingDir)); 112 113 // set input and output file format 114 job.setInputFormatClass(TextInputFormat.class); 115 job.setOutputFormatClass(TextOutputFormat.class); 116 TextOutputFormat.setCompressOutput(job, true); 117 TextOutputFormat.setOutputCompressorClass(job, LzopCodec.class); 118 119 // set configurations 120 JobConf jobConf = (JobConf)job.getConfiguration(); 121 jobConf.set(JOB_CONF_DATE, date); 122 jobConf.set(JOB_CONF_HOUR, hour); 123 jobConf.set(JOB_CONF_OUTDIR, outDir); 124 125 // run the job 126 if (wait) { 127 job.waitForCompletion(true); 128 } else { 129 job.submit(); 130 } 131 } 132 }
【Linux常用指令整理9】vi的使用1
vi 有三种工作模式，命令模式、插入模式和编辑模式。
键入命令：vi + 文件名 就可启动vi，缺省是命令模式。
键入i进入插入模式，插入模式按esc回到命令模式
命令模式
插入命令
a 在光标后插入文本
A 在行末插入文本
i 在光标前插入文本
I 在行首插入文本
o 在光标下插入文本
O 在光标上插入文本
移动光标
h 向左移动
j 向下移动
k 向上移动
l 向右移动
$ 移至行首
0 移至行尾
H 跳到上端
M 跳到中端
L 跳到下端
跳到具体行
:set nu 设置行号
:set nonu 取消行号
gg 到第一行
G 到最后一行
nG 到第n行
:n 到第n行
删除命令
x 删除光标字符
nx 删除光标开始以后的n个字符
dd 删除光标所在行
ndd 删除光标开始以后的n行
D 删除光标开始到行尾的内容
dG 删除光标开始到末尾的内容
:n1,n2d 删除n1行到n2行的内容
复制、剪切、粘贴
yy 复制当前行
nyy 复制光标及以下的n行
dd 剪切当前行
ndd 剪切光标及以下的n行
p 粘贴光标所在行下面
P 粘贴到光标所在行的上面
替换、撤销操作
r 替换光标所在字符
R 从光标所在字符开始替换，直到按esc结束
u 撤销上一步操作
搜索、替换
/关键字 搜索和关键字有关的行，按n查看下一个，按N查看上一个
:set ic 搜索时忽略大小写
:set noic 关闭忽略大小写
:%s/old/new/g 全文替换
:n1,n2s/old/new/g 只替换n1到n2
:wq 退出保存键入
:q 退出不保存键入
:w 保存不退出
:w 文件名 另存为
注：如果权限不足在后面加!，但仅限于root和所有者有用