1.RDD是PariRDD類型
我們提供的服務(wù)有：成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、成都外貿(mào)網(wǎng)站建設(shè)、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、澧縣ssl等。為千余家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的澧縣網(wǎng)站制作公司
def add1(line):
return line[0] + line[1]
def add2(x1,x2):
return x1 + x2
sc = SparkContext(appName="gridAnalyse")
rdd = sc.parallelize([1,2,3])
list1 = rdd.map(lambda line: (line,1)).map(lambda (x1,x2) : x1 + x2).collect() #只有一個(gè)參數(shù)，通過匹配來直接獲取（賦值給里面對(duì)應(yīng)位置的變量）
list1 = rdd.map(lambda line: (line,1)).map(lambda x1,x2 : x1 + x2).collect() #錯(cuò)誤，相當(dāng)于函數(shù)有兩個(gè)參數(shù)
list2 = rdd.map(lambda line: (line,1)).map(lambda line : line[0] + line[1]).collect() #只有一個(gè)參數(shù)，參數(shù)是Tuple或List數(shù)據(jù)類型，再從集合的對(duì)應(yīng)位置取出數(shù)據(jù)
list3 = rdd.map(lambda line: (line,1)).map(add1).collect() #傳遞函數(shù)，將Tuple或List類型數(shù)據(jù)傳給形參
list4 = rdd.map(lambda line: (line,1)).map(add2).collect() #錯(cuò)誤，因?yàn)檩斎胫挥幸粋€(gè)，卻有兩個(gè)形參
當(dāng)RDD是PairRDD時(shí)，map中可以寫lambda表達(dá)式和傳入一個(gè)函數(shù)。
a、寫lambda表達(dá)式：
可以通過(x1,x2,x3)來匹配獲取值；或者使用line獲取集合，然后從集合中獲取。
b、傳入函數(shù)
根據(jù)spark具體的transaction OR action 操作來確定自定義函數(shù)參數(shù)的個(gè)數(shù)，此例子中只有一個(gè)參數(shù)，從形參（集合類型）中獲取相應(yīng)位置的數(shù)據(jù)。
def xxx(f, x, y):
return eval(f+"("+str(x)+", "+str(y)+")")
python中函數(shù)也可以作為參數(shù)傳遞, 所以你可以直接傳遞函數(shù), 而不是函數(shù)名.
Python code?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
In [350]: def f(x, y):
...: return x+y
...:
In [352]: def usefunc(func, x, y):
...: return func(x, y)
...:
In [353]: usefunc(f, 10, 20)
Out[353]: 30
In [354]: def g(x, y):
...: return x*y
...:
In [355]: usefunc(g, 10, 20)
Out[355]: 200
如果確實(shí)需要用函數(shù)名(字符串)來確定函數(shù), 最好的辦法是自己建一個(gè)字典, 來保存允許用戶使用的函數(shù)名, 例如
1
functions = {'double': lambda x: x*2, "triple": lambda x: x*3}
eval是很危險(xiǎn)的辦法, 尤其是函數(shù)名是由你無法控制的用戶輸入時(shí).
本文中詳解介紹了 pandas 中 transform() 方法的使用
Accepted combinations are:
{0 or ‘index’, 1 or ‘columns’}, default 0 If 0 or ‘index’: apply function to each column. If 1 or ‘columns’: apply function to each row.
Positional arguments to pass to func.
Keyword arguments to pass to func.
A DataFrame that must have the same length as self.
If the returned DataFrame has a different length than self.
transform方法通常是和groupby方法一起連用的
每個(gè)位置被均值取代
內(nèi)建的聚合函數(shù)直接傳遞別名，max\min\sum\mean
向tranform中直接傳遞函數(shù)
在這個(gè)網(wǎng)站上有一個(gè)完整的實(shí)例，解釋了transform方法的使用
You can see in the data that the file contains 3 different orders (10001, 10005 and 10006) and that each order consists has multiple products (aka skus).
The question we would like to answer is: “What percentage of the order total does each sku represent?”
For example, if we look at order 10001 with a total of $576.12, the break down would be:
求出不同商品在所在訂單的價(jià)錢占比
先求出一列占比的值，再和原始數(shù)據(jù)進(jìn)行合并merge
Transform + groupby連用：先分組再求和
Python編程方式特點(diǎn)，可能并不能被每一個(gè)人接受。每個(gè)IT人式都有自己喜歡的語言和自己喜歡的編程方式，特別是跨語言開發(fā)者最討厭的編程語言各大有不同。打個(gè)比方，如果你習(xí)慣用A語言來編程，那么可能會(huì)對(duì)其他語言的某些特性看不慣。但這并不代表這種語言就不好，所以今天我們就來看一下IT界大牛們都對(duì)哪些編程語言有不滿，特別是Python語言的不足之處。
Visual Basic VB相較于Python語言真的好陌生。Visual Basic語法被認(rèn)為過于冗長和陌生，需要?jiǎng)討B(tài)鏈接庫才能去運(yùn)行它的代碼；對(duì)于面向?qū)ο缶幊痰闹С趾苡邢?；如何避免Visual Basic的不足之處：避免為開發(fā)老舊的Windows應(yīng)用程序的公司工作。
第二名：Java 語法冗長的代碼，沒有python那么簡潔真的很讓人頭疼，而且Java還不容易傳遞函數(shù)；Java的API過度設(shè)計(jì)全它能做的，其他語言其實(shí)也都輕松的能做，和它相比又更加高效。Java語言的愛好者們只要不使用Android SDK來開發(fā)任何應(yīng)用程序就可以了。
第一名：PYTHON語言： IT程序員的大牛們認(rèn)為Python語言的不足之處：代碼縮進(jìn)是用來指定塊的結(jié)構(gòu)，感覺用括號(hào)或大括號(hào)更好。 同時(shí)大量使用冒號(hào)和下劃線，模塊、變量名沖突等。python 變量命名 如何避免Python編程方式的不足：不要去Google、Yahoo或NASA工作，但這里又是程序員們向往的地方。
第三名：PHP 大量函數(shù)存在不一致的命名約定；安全漏洞；無法原生支持Unicode；經(jīng)常被混和在一些演示代碼（如HTML、CSS）中。 如何避免：如果你從事Web方面的工作，這是很難避免的。如果你喜歡PHP語言，那么只要在你不在熟悉操作之前不去Facebook工作，不用Wikimedia、Wordpress、Joomla和Drupal就可以安然無恙了。
第四名：C++ 龐大的函數(shù)集；手動(dòng)內(nèi)存管理；編譯速度慢；事實(shí)上，它允許程序員在同一程序中同時(shí)使用面向?qū)ο蠛兔嫦蜻^程的編程模式。 只要你不要去Adobe、Google或游戲領(lǐng)域工作就不會(huì)有麻煩。
第五名：COBOL 對(duì)這種語言大家可能不是很塑像，它是一種面向商業(yè)的通用語言，又稱為企業(yè)管理語言、數(shù)據(jù)處理語言等。COBOL是一種面向數(shù)據(jù)處理的、面向文件的、面向過程（POL）的高級(jí)編程語言，是一種功能很強(qiáng)而又極為冗長的語言。 COBOL有著極其繁瑣的語法，而且各種版本之間也并不不兼容。COBOL同時(shí)也缺乏面向?qū)ο缶幊?、函?shù)和指針等特性。 這樣的編程方式怎么樣才能避免：不要去 政府、金融領(lǐng)域或軍用企業(yè)工作。
裝飾器函數(shù)參數(shù)要傳函數(shù)，而不是字符串。
裝飾器函數(shù)特點(diǎn):
1，參數(shù)為函數(shù)對(duì)象
2，使用內(nèi)部函數(shù)
3，返回函數(shù)對(duì)象
在你的代碼中:
裝飾器函數(shù)是arg_func(sex)
內(nèi)部函數(shù)是func1()
被裝飾函數(shù)是man()和woman()
所以代碼要改成:
def?arg_func(sex):
def?func1():
sex()
if(sex.__name__=='man'):
print("you?can?'t")
if(sex.__name__=='woman'):
print("you?can")
return?func1
@arg_func
def?man():
print('good?good?study')
@arg_func
def?woman():
print('good?good?study')
man()
woman()
PS:裝飾器就是為了簡化代碼，增加可讀性，方便團(tuán)隊(duì)開發(fā)，在不修改原函數(shù)代碼的前提下，通過封裝修改功能，而@修飾就是為了通過原函數(shù)名調(diào)用時(shí)，不直接執(zhí)行原函數(shù)，而是把原函數(shù)傳遞到裝飾器函數(shù)，通過內(nèi)部函數(shù)(閉包)來調(diào)用原函數(shù)。這樣好處，就是統(tǒng)一調(diào)用方式。
重慶分公司
重慶分公司
