假設，我們有這樣的輸入文件： cate-a spu-1 1 cate-a spu-1 2 cate-a spu-2 3 cate-a spu-2 4 cate-a spu-3 5 cate-a spu-3 6 cate-a spu-1 7 cate-a spu-4 8 cate-a spu-4 9 cate-a spu-1 8 ... 我們希望得到分cate,分spu的總和，并且取分cate分spu的TOP3 
如上圖示，大致描述了MAP/REDUCE的運行流程： MAP輸出后，會進行分區(qū)操作，也就是決定KEY2/VALUE2發(fā)到哪些reduce上 分區(qū)由job.setPartitionerClass決定 在同一個分區(qū)內(nèi)，會對KEY2進行排序，依據(jù)是job.setSortComparatorClass， 如果沒有設置則根據(jù)KEY的compareTo方法 接下來進入分組階段，會構造KEY3和VALUE迭代器 分組的依據(jù)是job.setGroupingComparatorClass，只要比較器比較的相同就在同一組 KEY3/VALUE迭代器交給reduce方法處理
步驟： KEY應該是可序列化，可比較的，只需要注意實現(xiàn)WritableComparable即可。 重點關注compareTo方法。 @Override
public int compareTo(Cate2SpuKey that) {
System.out.println("開始對KEY進行排序...");
if(cate2.equals(that.getCate2())){
return spu.compareTo(that.getSpu());
}
return cate2.compareTo(that.getCate2());
}分區(qū)，是KEY的第一次比較，extends Partitioner 并提供getPartition即可。 這里根據(jù)cate分區(qū)。 需要注意的是，分組類必須提供構造方法，并且重載 public int compare(WritableComparable w1, WritableComparable w2) 。這里根據(jù)cate,spu分組。 通過上述的，就可以取得分cate分spu的SUM（counts）值了。 通過eclipse hadoop插件，可以方便我們上傳測試文件到HDFS，可以瀏覽，刪除HDFS文件，更加方便的是，就像運行普通JAVA程序一樣的運行/調(diào)試MR程序（不在需要打成JAR包）,讓我們可以追蹤MR的每一步，非常方便進行邏輯性測試~ 
那么怎么取分cate分spu的TOP3呢？ 我們只需要把上一個MR的輸出文件，作為另一個MR的輸入，并且以cate+counts 為KEY ，以spu為VALUE，根據(jù)cate分區(qū)，分組，排序的話:cate相同情況下，根據(jù)counts倒序； 最后在reduce階段取TOP3即可。 @Override
protected void reduce(Cate2CountsKey key, Iterable values,
Reducer.Context context)
throws IOException, InterruptedException {
System.out.println("reduce...");
System.out.println("VALUES迭代前... key:" + key.toString());
System.out.println("VALUES迭代前... key:" + key.getCounts());
int top = 3;
for(Text t : values){
if(top > 0){
System.out.println("VALUES迭代中... key:" + key.toString());
System.out.println("VALUES迭代中... key:" + key.getCounts());
context.write(new Text(key.getCate2() + "\t" + t.toString()),
new Text(key.getCounts()
+ ""));
top--;
}
}
System.out.println("reduce over...");
} 
那么到現(xiàn)在，分組取TOP就完成了。 | 
重慶分公司
重慶分公司
