今天就跟大家聊聊有關(guān)MapReduce引擎如何實(shí)現(xiàn),可能很多人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。
順德網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)建站,順德網(wǎng)站設(shè)計(jì)制作,有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為順德數(shù)千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站制作要多少錢,請(qǐng)找那個(gè)售后服務(wù)好的順德做網(wǎng)站的公司定做!
MapReduce引擎怎么實(shí)現(xiàn)
使用例子見(jiàn)下,只需要import一個(gè)名即可。
#!/usr/bin/env python
import mincemeat
data = ["Humpty Dumpty sat on a wall",
"Humpty Dumpty had a great fall",
"All the King's horses and all the King's men",
"Couldn't put Humpty together again",
]
def mapfn(k, v):
for w in v.split():
yield w, 1
def reducefn(k, vs):
MapReduce引擎怎么實(shí)現(xiàn)
result = 0
for v in vs:
result += v
return result
s = mincemeat.Server()
# The data source can be any dictionary-like object
s.datasource = dict(enumerate(data))
s.mapfn = mapfn
s.reducefn = reducefn
results = s.run_server(password="changeme")
print results
然后將mincemeat.py 和example.py 放在同一個(gè)目錄下,執(zhí)行example.py
python example.py
這時(shí)程序會(huì)掛起一個(gè)daemon
然后另開(kāi)一終端運(yùn)行:
python mincemeat.py -p changeme localhost
就會(huì)看到剛才的daemon打印出了MapReduce結(jié)果并退出了。
{‘a(chǎn)’: 2, ‘on’: 1, ‘great’: 1, ‘Humpty’: 3, ‘a(chǎn)gain’: 1, ‘wall’: 1, ‘Dumpty’: 2, ‘men’: 1, ‘had’: 1, ‘a(chǎn)ll’: 1, ‘together’: 1, “King’s”: 2, ‘horses’: 1, ‘All’: 1, “Couldn’t”: 1, ‘fall’: 1, ‘a(chǎn)nd’: 1, ‘the’: 2, ‘put’: 1, ’sat’: 1}
看完上述內(nèi)容,你們對(duì)MapReduce引擎如何實(shí)現(xiàn)有進(jìn)一步的了解嗎?如果還想了解更多知識(shí)或者相關(guān)內(nèi)容,請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝大家的支持。