1.1 例如：print(hex(2))案例
成都創(chuàng)新互聯(lián)專注于浦城網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供浦城營銷型網(wǎng)站建設(shè)，浦城網(wǎng)站制作、浦城網(wǎng)頁設(shè)計(jì)、浦城網(wǎng)站官網(wǎng)定制、小程序開發(fā)服務(wù)，打造浦城網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供浦城網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
1.2 輸出函數(shù)：print(hex(2))
1.3 輸出結(jié)果：0x2
1.4 解析說明：返回16進(jìn)制的數(shù)。
2.1 例如：print(chr(10))案例
2.2 輸出函數(shù)：print(chr(10))
2.3 輸出結(jié)果：0o12
2.4 解析說明：返回當(dāng)前整數(shù)對應(yīng)的ASCll碼
3.1 例如：print(ord("b"))案例
3.2 輸出函數(shù)：print(ord("b"))
3.3 輸出結(jié)果：98
3.4 解析說明：返回當(dāng)前ASCll碼的10進(jìn)制數(shù)
4.1 例如：print(chr(97))
4.2 輸出函數(shù)：print(chr(97))
4.3 輸出結(jié)果：b
4.4 解析說明：返回當(dāng)前ASCll碼的10進(jìn)制數(shù)。
案例一：給你一個(gè)字符串,s = 'hello kitty'
1.1 輸出函數(shù)：print(s.capitalize())
1.2 輸出結(jié)果：0x2
1.3 解析說明：返回16進(jìn)制的數(shù)。
2.1輸出函數(shù)：print(s.replace('kitty','kuang'))
2.2 輸出結(jié)果：hello kuang
2.3 解析說明：替換功能，將kitty換成kuang。
2.4 輸出函數(shù)：print(s.replace('4','KK'))
2.5 輸出結(jié)果：12KK12KK
2.6 解析說明：所有的4都替換成KK
2.7 輸出函數(shù)：print(s.replace('4','KK'))
2.8 輸出結(jié)果：12KK12KK124
2.9 解析說明：將前兩個(gè)的4替換成go
案例一：給你一個(gè)字符串，ip = '192.168.1.1'
3.1 輸出函數(shù)：print(ip.split(','))
3.2 輸出結(jié)果：['192.168.1.1']
3.3 解析說明：將字符串分割成列表
案例一：給你一個(gè)字符串，ip = '192.168.1.1'
3.3 輸出函數(shù)：print(ip.split(',',2))
3.4 輸出結(jié)果：['192.168.1.1']
3.5 解析說明：從第二個(gè)開始分割成列表
range()函數(shù)的用法如下：
（1）range(stop)
創(chuàng)建一個(gè)（0,stop)之間的整數(shù)序列，步長為1。
（2）range(start,stop)
創(chuàng)建一個(gè)（start,stop)之間的整數(shù)序列，步長為1。
（3）range(start,stop,step)
創(chuàng)建一個(gè)[start,stop)之間的整數(shù)序列，步長為step。
參數(shù)介紹：
start：表示從返回序列的起始編號，默認(rèn)情況下從0開始。
stop：表示生成最多但不包括此數(shù)字的數(shù)字。
step：指的是序列中每個(gè)數(shù)字之間的差異，默認(rèn)值為1。
range()是Python的內(nèi)置函數(shù)，在用戶需要執(zhí)行特定次數(shù)的操作時(shí)使用它，表示循環(huán)的意思。內(nèi)置函數(shù)range()可用于以列表的形式生成數(shù)字序列。在range()函數(shù)中最常見用法是使用for和while循環(huán)迭代序列類型（List，string等）。
簡單的來說，range()函數(shù)允許用戶在給定范圍內(nèi)生成一系列數(shù)字。根據(jù)用戶傳遞給函數(shù)的參數(shù)數(shù)量，用戶可以決定該系列數(shù)字的開始和結(jié)束位置以及一個(gè)數(shù)字與下一個(gè)數(shù)字之間的差異有多大。
在神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)負(fù)責(zé)將來自節(jié)點(diǎn)的加權(quán)輸入轉(zhuǎn)換為該輸入的節(jié)點(diǎn)或輸出的激活。ReLU 是一個(gè)分段線性函數(shù)，如果輸入為正，它將直接輸出，否則，它將輸出為零。它已經(jīng)成為許多類型神經(jīng)網(wǎng)絡(luò)的默認(rèn)激活函數(shù)，因?yàn)槭褂盟哪Ｐ透菀子?xùn)練，并且通常能夠獲得更好的性能。在本文中，我們來詳細(xì)介紹一下ReLU，主要分成以下幾個(gè)部分：
1、Sigmoid 和 Tanh 激活函數(shù)的局限性
2、ReLU（Rectified Linear Activation Function）
3、如何實(shí)現(xiàn)ReLU
4、ReLU的優(yōu)點(diǎn)
5、使用ReLU的技巧
一個(gè)神經(jīng)網(wǎng)絡(luò)由層節(jié)點(diǎn)組成，并學(xué)習(xí)將輸入的樣本映射到輸出。對于給定的節(jié)點(diǎn)，將輸入乘以節(jié)點(diǎn)中的權(quán)重，并將其相加。此值稱為節(jié)點(diǎn)的summed activation。然后，經(jīng)過求和的激活通過一個(gè)激活函數(shù)轉(zhuǎn)換并定義特定的輸出或節(jié)點(diǎn)的“activation”。
最簡單的激活函數(shù)被稱為線性激活，其中根本沒有應(yīng)用任何轉(zhuǎn)換。 一個(gè)僅由線性激活函數(shù)組成的網(wǎng)絡(luò)很容易訓(xùn)練，但不能學(xué)習(xí)復(fù)雜的映射函數(shù)。線性激活函數(shù)仍然用于預(yù)測一個(gè)數(shù)量的網(wǎng)絡(luò)的輸出層(例如回歸問題)。
非線性激活函數(shù)是更好的，因?yàn)樗鼈冊试S節(jié)點(diǎn)在數(shù)據(jù)中學(xué)習(xí)更復(fù)雜的結(jié)構(gòu) 。兩個(gè)廣泛使用的非線性激活函數(shù)是 sigmoid 函數(shù)和 雙曲正切 激活函數(shù)。
Sigmoid 激活函數(shù) ，也被稱為 Logistic函數(shù)神經(jīng)網(wǎng)絡(luò)，傳統(tǒng)上是一個(gè)非常受歡迎的神經(jīng)網(wǎng)絡(luò)激活函數(shù)。函數(shù)的輸入被轉(zhuǎn)換成介于0.0和1.0之間的值。大于1.0的輸入被轉(zhuǎn)換為值1.0，同樣，小于0.0的值被折斷為0.0。所有可能的輸入函數(shù)的形狀都是從0到0.5到1.0的 s 形。在很長一段時(shí)間里，直到20世紀(jì)90年代早期，這是神經(jīng)網(wǎng)絡(luò)的默認(rèn)激活方式。
雙曲正切函數(shù) ，簡稱 tanh，是一個(gè)形狀類似的非線性激活函數(shù)，輸出值介于-1.0和1.0之間。在20世紀(jì)90年代后期和21世紀(jì)初期，由于使用 tanh 函數(shù)的模型更容易訓(xùn)練，而且往往具有更好的預(yù)測性能，因此 tanh 函數(shù)比 Sigmoid激活函數(shù)更受青睞。
Sigmoid和 tanh 函數(shù)的一個(gè)普遍問題是它們值域飽和了 。這意味著，大值突然變?yōu)?.0，小值突然變?yōu)?-1或0。此外，函數(shù)只對其輸入中間點(diǎn)周圍的變化非常敏感。
無論作為輸入的節(jié)點(diǎn)所提供的求和激活是否包含有用信息，函數(shù)的靈敏度和飽和度都是有限的。一旦達(dá)到飽和狀態(tài)，學(xué)習(xí)算法就需要不斷調(diào)整權(quán)值以提高模型的性能。
最后，隨著硬件能力的提高，通過 gpu 的非常深的神經(jīng)網(wǎng)絡(luò)使用Sigmoid 和 tanh 激活函數(shù)不容易訓(xùn)練。在大型網(wǎng)絡(luò)深層使用這些非線性激活函數(shù)不能接收有用的梯度信息。錯(cuò)誤通過網(wǎng)絡(luò)傳播回來，并用于更新權(quán)重。每增加一層，錯(cuò)誤數(shù)量就會大大減少。這就是所謂的 消失梯度 問題，它能有效地阻止深層(多層)網(wǎng)絡(luò)的學(xué)習(xí)。
雖然非線性激活函數(shù)的使用允許神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的映射函數(shù)，但它們有效地阻止了學(xué)習(xí)算法與深度網(wǎng)絡(luò)的工作。在2000年代后期和2010年代初期，通過使用諸如波爾茲曼機(jī)器和分層訓(xùn)練或無監(jiān)督的預(yù)訓(xùn)練等替代網(wǎng)絡(luò)類型，這才找到了解決辦法。
為了訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)， 需要一個(gè)激活函數(shù)神經(jīng)網(wǎng)絡(luò)，它看起來和行為都像一個(gè)線性函數(shù)，但實(shí)際上是一個(gè)非線性函數(shù)，允許學(xué)習(xí)數(shù)據(jù)中的復(fù)雜關(guān)系 。該函數(shù)還必須提供更靈敏的激活和輸入，避免飽和。
因此，ReLU出現(xiàn)了， 采用 ReLU 可以是深度學(xué)習(xí)革命中為數(shù)不多的里程碑之一 。ReLU激活函數(shù)是一個(gè)簡單的計(jì)算，如果輸入大于0，直接返回作為輸入提供的值；如果輸入是0或更小，返回值0。
我們可以用一個(gè)簡單的 if-statement 來描述這個(gè)問題，如下所示:
對于大于零的值，這個(gè)函數(shù)是線性的，這意味著當(dāng)使用反向傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，它具有很多線性激活函數(shù)的理想特性。然而，它是一個(gè)非線性函數(shù)，因?yàn)樨?fù)值總是作為零輸出。由于矯正函數(shù)在輸入域的一半是線性的，另一半是非線性的，所以它被稱為 分段線性函數(shù)（piecewise linear function ） 。
我們可以很容易地在 Python 中實(shí)現(xiàn)ReLU激活函數(shù)。
我們希望任何正值都能不變地返回，而0.0或負(fù)值的輸入值將作為0.0返回。
下面是一些修正的線性激活函數(shù)的輸入和輸出的例子：
輸出如下：
我們可以通過繪制一系列的輸入和計(jì)算出的輸出，得到函數(shù)的輸入和輸出之間的關(guān)系。下面的示例生成一系列從 -10到10的整數(shù)，并計(jì)算每個(gè)輸入的校正線性激活，然后繪制結(jié)果。
運(yùn)行這個(gè)例子會創(chuàng)建一個(gè)圖，顯示所有負(fù)值和零輸入都突變?yōu)?.0，而正輸出則返回原樣：
ReLU函數(shù)的導(dǎo)數(shù)是斜率。負(fù)值的斜率為0.0，正值的斜率為1.0。
傳統(tǒng)上，神經(jīng)網(wǎng)絡(luò)領(lǐng)域已經(jīng)不能是任何不完全可微的激活函數(shù)，而ReLU是一個(gè)分段函數(shù)。從技術(shù)上講，當(dāng)輸入為0.0時(shí)，我們不能計(jì)算ReLU的導(dǎo)數(shù)，但是，我們可以假設(shè)它為0。
tanh 和 sigmoid 激活函數(shù)需要使用指數(shù)計(jì)算， 而ReLU只需要max()，因此他 計(jì)算上更簡單，計(jì)算成本也更低 。
ReLU的一個(gè)重要好處是，它能夠輸出一個(gè)真正的零值 。這與 tanh 和 sigmoid 激活函數(shù)不同，后者學(xué)習(xí)近似于零輸出，例如一個(gè)非常接近于零的值，但不是真正的零值。這意味著負(fù)輸入可以輸出真零值，允許神經(jīng)網(wǎng)絡(luò)中的隱層激活包含一個(gè)或多個(gè)真零值。這就是所謂的稀疏表示，是一個(gè)理想的性質(zhì)，在表示學(xué)習(xí)，因?yàn)樗梢约铀賹W(xué)習(xí)和簡化模型。
ReLU看起來更像一個(gè)線性函數(shù)，一般來說，當(dāng)神經(jīng)網(wǎng)絡(luò)的行為是線性或接近線性時(shí)，它更容易優(yōu)化 。
這個(gè)特性的關(guān)鍵在于，使用這個(gè)激活函數(shù)進(jìn)行訓(xùn)練的網(wǎng)絡(luò)幾乎完全避免了梯度消失的問題，因?yàn)樘荻热匀慌c節(jié)點(diǎn)激活成正比。
ReLU的出現(xiàn)使得利用硬件的提升和使用反向傳播成功訓(xùn)練具有非線性激活函數(shù)的深層多層網(wǎng)絡(luò)成為可能 。
很長一段時(shí)間，默認(rèn)的激活方式是Sigmoid激活函數(shù)。后來，Tanh成了激活函數(shù)。 對于現(xiàn)代的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，默認(rèn)的激活函數(shù)是ReLU激活函數(shù) 。
ReLU 可以用于大多數(shù)類型的神經(jīng)網(wǎng)絡(luò)， 它通常作為多層感知機(jī)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的激活函數(shù) ，并且也得到了許多論文的證實(shí)。傳統(tǒng)上，LSTMs 使用 tanh 激活函數(shù)來激活cell狀態(tài)，使用 Sigmoid激活函數(shù)作為node輸出。 而ReLU通常不適合RNN類型網(wǎng)絡(luò)的使用。
偏置是節(jié)點(diǎn)上具有固定值的輸入，這種偏置會影響激活函數(shù)的偏移，傳統(tǒng)的做法是將偏置輸入值設(shè)置為1.0。當(dāng)在網(wǎng)絡(luò)中使用 ReLU 時(shí)， 可以將偏差設(shè)置為一個(gè)小值，例如0.1 。
在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前，網(wǎng)絡(luò)的權(quán)值必須初始化為小的隨機(jī)值。當(dāng)在網(wǎng)絡(luò)中使用 ReLU 并將權(quán)重初始化為以零為中心的小型隨機(jī)值時(shí)，默認(rèn)情況下，網(wǎng)絡(luò)中一半的單元將輸出零值。有許多啟發(fā)式方法來初始化神經(jīng)網(wǎng)絡(luò)的權(quán)值，但是沒有最佳權(quán)值初始化方案。 何愷明的文章指出Xavier 初始化和其他方案不適合于 ReLU ，對 Xavier 初始化進(jìn)行一個(gè)小的修改，使其適合于 ReLU，提出He Weight Initialization，這個(gè)方法更適用于ReLU 。
在使用神經(jīng)網(wǎng)絡(luò)之前對輸入數(shù)據(jù)進(jìn)行縮放是一個(gè)很好的做法。這可能涉及標(biāo)準(zhǔn)化變量，使其具有零均值和單位方差，或者將每個(gè)值歸一化為0到1。如果不對許多問題進(jìn)行數(shù)據(jù)縮放，神經(jīng)網(wǎng)絡(luò)的權(quán)重可能會增大，從而使網(wǎng)絡(luò)不穩(wěn)定并增加泛化誤差。 無論是否在網(wǎng)絡(luò)中使用 ReLU，這種縮放輸入的良好實(shí)踐都適用。
ReLU 的輸出在正域上是無界的。這意味著在某些情況下，輸出可以繼續(xù)增長。因此，使用某種形式的權(quán)重正則化可能是一個(gè)比較好的方法，比如 l1或 l2向量范數(shù)。 這對于提高模型的稀疏表示(例如使用 l 1正則化)和降低泛化誤差都是一個(gè)很好的方法 。
.
1、print()函數(shù)：打印字符串;
2、raw_input()函數(shù)：從用戶鍵盤捕獲字符;
3、len()函數(shù)：計(jì)算字符長度;
4、format()函數(shù)：實(shí)現(xiàn)格式化輸出;
5、type()函數(shù)：查詢對象的類型;
6、int()函數(shù)、float()函數(shù)、str()函數(shù)等：類型的轉(zhuǎn)化函數(shù);
7、id()函數(shù)：獲取對象的內(nèi)存地址;
8、help()函數(shù)：Python的幫助函數(shù);
9、s.islower()函數(shù)：判斷字符小寫;
10、s.sppace()函數(shù)：判斷是否為空格;
11、str.replace()函數(shù)：替換字符;
12、import()函數(shù)：引進(jìn)庫;
13、math.sin()函數(shù)：sin()函數(shù);
14、math.pow()函數(shù)：計(jì)算次方函數(shù);
15、os.getcwd()函數(shù)：獲取當(dāng)前工作目錄;
16、listdir()函數(shù)：顯示當(dāng)前目錄下的文件;
17、time.sleep()函數(shù)：停止一段時(shí)間;
18、random.randint()函數(shù)：產(chǎn)生隨機(jī)數(shù);
19、range()函數(shù)：返回一個(gè)列表，打印從1到100;
20、file.read()函數(shù)：讀取文件返回字符串;
21、file.readlines()函數(shù)：讀取文件返回列表;
22、file.readline()函數(shù)：讀取一行文件并返回字符串;
23、split()函數(shù)：用什么來間隔字符串;
24、isalnum()函數(shù)：判斷是否為有效數(shù)字或字符;
25、isalpha()函數(shù)：判斷是否全為字符;
26、isdigit()函數(shù)：判斷是否全為數(shù)字;
27、 lower()函數(shù)：將數(shù)據(jù)改成小寫;
28、upper()函數(shù)：將數(shù)據(jù)改成大寫;
29、startswith(s)函數(shù)：判斷字符串是否以s開始的;
30、endwith(s)函數(shù)：判斷字符串是否以s結(jié)尾的;
31、file.write()函數(shù)：寫入函數(shù);
32、file.writeline()函數(shù)：寫入文件;
33、abs()函數(shù)：得到某數(shù)的絕對值;
34、file.sort()函數(shù)：對書數(shù)據(jù)排序;
35、tuple()函數(shù)：創(chuàng)建一個(gè)元組;
36、find()函數(shù)：查找 返回的是索引;
37、dict()函數(shù)：創(chuàng)建字典;
38、clear()函數(shù)：清楚字典中的所有項(xiàng);
39、copy()函數(shù)：復(fù)制一個(gè)字典，會修改所有的字典;
40、 get()函數(shù)：查詢字典中的元素。
…………
parameter 是函數(shù)定義的參數(shù)形式
argument 是函數(shù)調(diào)用時(shí)傳入的參數(shù)實(shí)體。
對于函數(shù)調(diào)用的傳參模式，一般有兩種：
此外，
也是關(guān)鍵字傳參
python的函數(shù)參數(shù)定義一般來說有五種: 位置和關(guān)鍵字參數(shù)混合 ， 僅位置參數(shù) ， 僅關(guān)鍵字參數(shù) ， 可變位置參數(shù) ， 可變關(guān)鍵字參數(shù) 。其中僅位置參數(shù)的方式僅僅是一個(gè)概念，python語法中暫時(shí)沒有這樣的設(shè)計(jì)。
通常我們見到的函數(shù)是位置和關(guān)鍵字混合的方式。
既可以用關(guān)鍵字又可以用位置調(diào)用
或
這種方式的定義只能使用關(guān)鍵字傳參的模式
f(*some_list) 與 f(arg1, arg2, ...) （其中some_list = [arg1, arg2, ...]）是等價(jià)的
網(wǎng)絡(luò)模塊request的request方法的設(shè)計(jì)
多數(shù)的可選參數(shù)被設(shè)計(jì)成可變關(guān)鍵字參數(shù)
有多種方法能夠?yàn)楹瘮?shù)定義輸出：
非常晦澀
如果使用可變對象作為函數(shù)的默認(rèn)參數(shù)，會導(dǎo)致默認(rèn)參數(shù)在所有的函數(shù)調(diào)用中被共享。
例子1：
addItem方法的data設(shè)計(jì)了一個(gè)默認(rèn)參數(shù)，使用不當(dāng)會造成默認(rèn)參數(shù)被共享。
python里面，函數(shù)的默認(rèn)參數(shù)被存在__default__屬性中，這是一個(gè)元組類型
例子2：
在例子1中，默認(rèn)參數(shù)是一個(gè)列表，它是mutable的數(shù)據(jù)類型，當(dāng)它寫進(jìn) __defauts__屬性中時(shí)，函數(shù)addItem的操作并不會改變它的id，相當(dāng)于 __defauts__只是保存了data的引用，對于它的內(nèi)存數(shù)據(jù)并不關(guān)心，每次調(diào)用addItem，都可以修改 addItem.__defauts__中的數(shù)據(jù)，它是一個(gè)共享數(shù)據(jù)。
如果默認(rèn)參數(shù)是一個(gè)imutable類型，情況將會不一樣,你無法改變默認(rèn)參數(shù)第一次存入的值。
例子1中，連續(xù)調(diào)用addItem('world') 的結(jié)果會是
而不是期望的
重慶分公司
重慶分公司
