這篇文章給大家分享的是有關(guān)MapReduce如何實現(xiàn)驅(qū)動程序的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

創(chuàng)新互聯(lián)公司主要從事網(wǎng)站設(shè)計、做網(wǎng)站、網(wǎng)頁設(shè)計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)邵原,十多年網(wǎng)站建設(shè)經(jīng)驗,價格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):18980820575

1、設(shè)置job的基礎(chǔ)屬性

Job job = new Job();  
job.setJarByClass(***.class);  //要執(zhí)行的類
job.setJobName(“job name”);    //作業(yè)的名字
job.setNumReduce(2);           //reduce的數(shù)目

2、設(shè)置Map與Reudce的類

job.setMappgerClass(*.class);  //map類
job.setReduceClass(*.class);   //reduce類

3、設(shè)置Job的輸入輸出格式

void    setInputFormatClass(Class cls)  
void    setOutputFormatClass(Class cls)

前者默認是TextInputFormat，后者是FileOutputFormat。

4、設(shè)置Job的輸入輸出路徑

當輸入輸出是文件時，需要指定路徑。

InputFormat：  
static void    addInputPath(JobConf conf, Path path)   
FileOutputFormat：  
static void    setOutputPath(Job job, Path outputDir)

當輸入格式是其它類型時，則需要指定相應(yīng)的屬性，如Gora的DataSource。

5、設(shè)置map與reduce的輸出鍵值類型
主要有以下4個類

void    setOutputKeyClass(Class theClass)  
void    setOutputValueClass(Class theClass)   
void    setMapOutputKeyClass(Class theClass)  
void    setMapOutputValueClass(Class theClass)

（1）前面2個方法設(shè)置整個job的輸出，即reduce的輸出。默認情況下，map的輸出類型與reduce一致，若二者不一致，則需要通過后面2個方法來指定map的輸出類型。
（2）關(guān)于輸入類型的說明：reduce的輸入類型由output的輸出類型決定。map的輸入類型由輸入格式?jīng)Q定，如輸入格式是FileInputFormat，則輸入KV類型為LongWriterable與Text。

6、運行程序

job.waitForCompletion(）

我們還可以設(shè)置combine類和partition類

job.setCombinerClass(Combine.class);
job.setPartitionerClass(MyPartition.class);

 附帶一張圖：

完整例子

package org.jediael.hadoopdemo.maxtemperature;  
  
import org.apache.hadoop.fs.Path;  
import org.apache.hadoop.io.IntWritable;  
import org.apache.hadoop.io.Text;  
import org.apache.hadoop.mapreduce.Job;  
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  
public class MaxTemperature {  
    public static void main(String[] args) throws Exception {  
        if (args.length != 2) {  
            System.err  
                    .println("Usage: MaxTemperature  ");  
            System.exit(-1);  
        }  
        //1、設(shè)置job的基礎(chǔ)屬性  
        Job job = new Job();  
        job.setJarByClass(MaxTemperature.class);  
        job.setJobName("Max temperature");  
  
        //2、設(shè)置Map與Reudce的類  
        job.setMapperClass(MaxTemperatureMapper.class);  
        job.setReducerClass(MaxTemperatureReducer.class);  
          
        //4、設(shè)置map與reduce的輸出鍵值類型  
        job.setOutputKeyClass(Text.class);  
        job.setOutputValueClass(IntWritable.class);  
          
        //5、設(shè)置輸入輸出路徑  
        FileInputFormat.addInputPath(job, new Path(args[0]));  
        FileOutputFormat.setOutputPath(job, new Path(args[1]));  
          
        //6、運行程序  
        System.exit(job.waitForCompletion(true) ? 0 : 1);  
    }  
}

感謝各位的閱讀！關(guān)于“MapReduce如何實現(xiàn)驅(qū)動程序”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！