這篇文章給大家分享的是有關hadoop如何實現(xiàn)統(tǒng)計輸入行數(shù)的MAP的內(nèi)容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
堅守“ 做人真誠 · 做事靠譜 · 口碑至上 · 高效敬業(yè) ”的價值觀,專業(yè)網(wǎng)站建設服務10余年為成都紗窗小微創(chuàng)業(yè)公司專業(yè)提供企業(yè)網(wǎng)站設計營銷網(wǎng)站建設商城網(wǎng)站建設手機網(wǎng)站建設小程序網(wǎng)站建設網(wǎng)站改版,從內(nèi)容策劃、視覺設計、底層架構、網(wǎng)頁布局、功能開發(fā)迭代于一體的高端網(wǎng)站建設服務。
import java.io.IOException; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class FilterCidMap2 extends Mapper{ private long count=0; @Override protected void map(LongWritable key, Text value, Mapper .Context context) throws IOException, InterruptedException { try { //取得讀取的行數(shù) count=key.get(); //正常邏輯 context.write(new Text(), new LongWritable(1)); } catch (Exception e) { e.printStackTrace(); } } //map 方法調用完后才調用的 @Override protected void cleanup(Mapper .Context context) throws IOException, InterruptedException { //map清理資源的操作 //在reduce中把linescount取出來就行了 context.write(new Text("linesCount"), new LongWritable(count)); } }
感謝各位的閱讀!關于“hadoop如何實現(xiàn)統(tǒng)計輸入行數(shù)的MAP”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!