真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Hadoop中怎么自定義輸出排序-創(chuàng)新互聯(lián)

銅鼓網(wǎng)站建設(shè)公司成都創(chuàng)新互聯(lián),銅鼓網(wǎng)站設(shè)計(jì)制作,有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為銅鼓上1000+提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)營(yíng)銷網(wǎng)站建設(shè)要多少錢,請(qǐng)找那個(gè)售后服務(wù)好的銅鼓做網(wǎng)站的公司定做!

本篇文章為大家展示了Hadoop中怎么自定義輸出排序,內(nèi)容簡(jiǎn)明扼要并且容易理解,絕對(duì)能使你眼前一亮,通過這篇文章的詳細(xì)介紹希望你能有所收獲。

package com.hgs;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class AvgValue {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		if(args.length!=2) {
			System.err.println("Usage: MaxTemperature  ");
			System.exit(1);
		}
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf, "avg of grades");
		job.setJarByClass(AvgValue.class);
		job.setMapperClass(InputClass.class);
		job.setReducerClass(OutputClass.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(DoubleWritable.class);
		FileInputFormat.addInputPath(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		System.exit(job.waitForCompletion(true)?0:1);
		
	}
}
class InputClass extends Mapper{
	@Override
	protected void map(LongWritable key, Text value, Mapper.Context context)
			throws IOException, InterruptedException {
		String line = value.toString();
		if(line.length()>0){
			String[] array = line.split("\t");
			if(array.length==2){
				String name=array[0];
				int grade = Integer.parseInt(array[1]);
				context.write(new Text(name), new DoubleWritable(grade));
			}
		}
		
		
	}
	
}
class OutputClass extends Reducer{
	@Override
	protected void reduce(Text text, Iterable iterable,
			Reducer.Context context) throws IOException, InterruptedException {
		int sum = 0;
		int cnt= 0 ;
		for(DoubleWritable iw : iterable) {
			sum+=iw.get();
			cnt++;
		}
		NameKey nk = new NameKey(text,new DoubleWritable(sum/cnt));
		context.write(nk, new DoubleWritable(sum/cnt));
	}
}
//該處通過將輸出記過封裝為一個(gè)bean并且實(shí)現(xiàn)WritableComparable類,重寫compareTo,來實(shí)現(xiàn)對(duì)自定義排序
class NameKey implements WritableComparable{
	private Text name ;
	private DoubleWritable grade ;
	public NameKey(Text name,DoubleWritable grade) {
		this.name = name;
		this.grade = grade;
	}
	public Text getName() {
		return name;
	}
	public void setName(Text name) {
		this.name = name;
	}
	public DoubleWritable getGrade() {
		return grade;
	}
	public void setGrade(DoubleWritable grade) {
		this.grade = grade;
	}
	@Override
	public void write(DataOutput out) throws IOException {
		name.write(out);
		grade.write(out);
		
	}
	@Override
	public void readFields(DataInput in) throws IOException {
		name.readFields(in);
		grade.readFields(in);
		
	}
	
	@Override
	public String toString() {
		return name.toString();
	}
	@Override
	public int compareTo(NameKey o) {
		double me = grade.get();
		double other = o.getGrade().get();
		int slid =  (int)(me-other);
		return slid;
	}
	
}
//class Maxreducer extends Reducer

上述內(nèi)容就是Hadoop中怎么自定義輸出排序,你們學(xué)到知識(shí)或技能了嗎?如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備,歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。


分享題目:Hadoop中怎么自定義輸出排序-創(chuàng)新互聯(lián)
網(wǎng)站URL:http://weahome.cn/article/dsshih.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部