用户编写的程序分成三个部分：Mapper、Reducer 和 Driver。 1、编写Mapper类 （1）用户自定义的Mapper要继承框架提供的Mapper类。 （2）Mapper的输入数据是KV键值对的形式（KV的类型可自定义）。 （3）对数据的处理逻辑写在Mapper类中map() 方法中。 （4）Mapper的输出数据是KV键值对的形式（KV的类型可自定义）。 （5）map() 方法（maptask进程）每一个<K,V>数据执行一次。 2、编写Reducer类 （1）用户自定义的Reducer要继承框架提供的Reducer父类。 （2）Reducer的输入数据类型对应Mapper的输出数据类型，也是KV。 （3）Reducer的业务逻辑写在reduce() 方法中。 （4）每一组相同k的<k,Iterator>组调用一次reduce() 方法。 3、Driver阶段 整个程序需要编写一个Driver来进行提交，将自定义Mapper和Reducer类组合成一个job，并提交job对象。
1、需求：统计一个文件中每一个单词出现的总次数。 2、案例数据：
3、分析 按照前面介绍的MapReduce编程规范，分别编写自定义Mapper，Reducer，Driver。 Mapper类处理逻辑： （1）将map端输入为内容转换为String类型。 （2）根据文件内容分隔符（空格）将每一行切分为单词。 （3）Map端输出数据的<K,V> 格式为<word,1>，将每一个的那次作为K输出。 Reducer类处理逻辑： （1）统计每一个K（单词）的个数。 （2）Reduce端输出数据<K,V>格式为<word,总次数>。 Driver类： （1）获取配置信息类对象。 （2）指定Driver程序的jar包所在的本地路径。 （3）关联自定义的Mapper/Reducer业务类。 （4）指定Mapper端数据的K，V类型。 （5）指定最终输出的数据的K，V类型。 （6）指定job任务的输入路径和输出路径。 （7）提交任务。 4、编码实现 （1）使用idea创建maven工程，添加依赖如下：
<!-- hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0</version> </dependency> <!-- hadoop-client --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.0</version> </dependency> <!-- hadoop-hdfs --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.6.0</version> </dependency>（2）编写Mapper类
public class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable> { Text k = new Text(); IntWritable v = new IntWritable(1); @Override protected void map(LongWritable key,Text value,Context context) throws IOException,InterruptedException { String line = value.toString(); String[] words = line.split(" "); for(String word:words) { k.set(word); context.write(k,v); } } }（3）编写Reducer类
public class WordCountReducer extends Reducer<Text,IntWritable,Text,LongWritable> { int sum; LongWritable v = new LongWritable(); @Override protected void reduce(Text key,Iterable<IntWritable> value,Context context) throws Exception { sum = 0; for(IntWritable count:value) { sum += count.get(); } v.set(sum); context.write(key,v); } }（4）编写驱动类
public class WordcountDriver { public static void main(String[] args) throws Exception { // 1、获取配置信息以及封装任务 Configuration conf = new Configuration(); Job job = Job.getInstance(conf); // 2、设置jar加载路径，一般设置都是driver类 job.setJarByClass(WordcountDriver.class); // 3、设置map和reduce类 job.setMapperClass(WordcountMapper.class); job.setReducerClass(WordcountReducer.class); // 4、设置map输出 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); // 5、设置Reduce输出及最终的输出 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); // 6、设置输入和输出路径，其中args是main犯法传入的参数 FileInputFormat.setInputPaths(job,new Path(args[0])); FileOutputFormat.setOutputPath(job,new Path(args[1])); // 7、提交任务 boolean result = job.waitForCompletion(true); System.exit(result ? 0 : 1); } }5、在windows上测试MapReduce （1）在windows环境上解压Hadoop安装包（前面linux安装使用的Hadoop包），并配置HADOOP_HOME环境变量。
