二、程序员编写的代码

　　我们做一个简单的分布式的Grep，简单对输入文件进行逐行的正则匹配，如果符合就将该行打印到输出文件。因为是简单的全部输出，所以我们只要写Mapper函数，不用写Reducer函数，也不用定义Input/Output Format。

　　package demo.hadoop

　　public   class HadoopGrep {

　　public   static   class RegMapper extends MapReduceBase implements Mapper {

　　private Pattern pattern;

　　public   void configure(JobConf job) {

　　pattern = Pattern.compile(job.get( " mapred.mapper.regex " ));

　　}

　　public   void map(WritableComparable key, Writable value, OutputCollector output, Reporter reporter)

　　throws IOException {

　　String text = ((Text) value).toString();

　　Matcher matcher = pattern.matcher(text);

　　if (matcher.find()) {

　　output.collect(key, value);

　　}

　　}

　　}

　　private HadoopGrep () {

　　} // singleton

　　public   static   void main(String[] args) throws Exception {

　　JobConf grepJob =   new JobConf(HadoopGrep. class );

　　grepJob.setJobName( " grep-search " );

　　grepJob.set( " mapred.mapper.regex " , args[ 2 ]);

　　grepJob.setInputPath( new Path(args[ 0 ]));

　　grepJob.setOutputPath( new Path(args[ 1 ]));

　　grepJob.setMapperClass(RegMapper. class );

　　grepJob.setReducerClass(IdentityReducer. class );

　　JobClient.runJob(grepJob);

　　}

　　}

　　RegMapper类的configure()函数接受由main函数传入的查找字符串，map() 函数进行正则匹配，key是行数，value是文件行的内容，符合的文件行放入中间结果。

　　main()函数定义由命令行参数传入的输入输出目录和匹配字符串，Mapper函数为RegMapper类，Reduce函数是什么都不做，直接把中间结果输出到最终结果的的IdentityReducer类，运行Job。

　　整个代码非常简单，丝毫没有分布式编程的任何细节。