隨便隨便什么Python或者R的程序只要在spark所在的設(shè)備上能運(yùn)行。也就是說(shuō)相關(guān)的依賴都配置好了，就能用spark執(zhí)行。但是只有使用
創(chuàng)新互聯(lián)建站主要從事網(wǎng)站設(shè)計(jì)制作、做網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)寬甸,十載網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來(lái)電咨詢建站服務(wù):18980820575
spark提供的API的部分才會(huì)被spark處理(平行，多線程)，其他的部分都是由本地的interpreter(Python 或者
R)處理的。也就是說(shuō)如果不用spark API，用不用spark執(zhí)行效果都一樣。
spark其實(shí)并不是什么獨(dú)立的程序，可以理解為一個(gè)內(nèi)嵌在原生interpreter內(nèi)的擴(kuò)展程序。就跟你在Python里面用numpy一樣。
轉(zhuǎn)載
5個(gè)常用的Python標(biāo)準(zhǔn)庫(kù)：
1、os：提供了不少與操作系統(tǒng)相關(guān)聯(lián)的函數(shù)庫(kù)
os包是Python與操作系統(tǒng)的接口。我們可以用os包來(lái)實(shí)現(xiàn)操作系統(tǒng)的許多功能，比如管理系統(tǒng)進(jìn)程，改變當(dāng)前路徑，改變文件權(quán)限等。但要注意，os包是建立在操作系統(tǒng)的平臺(tái)上的，許多功能在Windows系統(tǒng)上是無(wú)法實(shí)現(xiàn)的。另外，在使用os包中，要注意其中的有些功能已經(jīng)被其他的包取代。
我們通過(guò)文件系統(tǒng)來(lái)管理磁盤上儲(chǔ)存的文件。查找、刪除、復(fù)制文件以及列出文件列表等都是常見的文件操作。這些功能通?？梢栽诓僮飨到y(tǒng)中看到，但現(xiàn)在可以通過(guò)Python標(biāo)準(zhǔn)庫(kù)中的glob包、shutil包、os.path包以及os包的一些函數(shù)等，在Python內(nèi)部實(shí)現(xiàn)。
2、sys：通常用于命令行參數(shù)的庫(kù)
sys包被用于管理Python自身的運(yùn)行環(huán)境。Python是一個(gè)解釋器，也是一個(gè)運(yùn)行在操作系統(tǒng)上的程序。我們可以用sys包來(lái)控制這一程序運(yùn)行的許多參數(shù)，比如說(shuō)Python運(yùn)行所能占據(jù)的內(nèi)存和CPU，Python所要掃描的路徑等。另一個(gè)重要功能是和Python自己的命令行互動(dòng)，從命令行讀取命令和參數(shù)。
3、random：用于生成隨機(jī)數(shù)的庫(kù)
Python標(biāo)準(zhǔn)庫(kù)中的random函數(shù)，可以生成隨機(jī)浮點(diǎn)數(shù)、整數(shù)、字符串，甚至幫助你隨機(jī)選擇列表序列中的一個(gè)元素，打亂一組數(shù)據(jù)等。
4、math：提供了數(shù)學(xué)常數(shù)和數(shù)學(xué)函數(shù)
標(biāo)準(zhǔn)庫(kù)中，Python定義了一些新的數(shù)字類型，以彌補(bǔ)之前的數(shù)字類型可能的不足。標(biāo)準(zhǔn)庫(kù)還包含了random包，用于處理隨機(jī)數(shù)相關(guān)的功能。math包補(bǔ)充了一些重要的數(shù)學(xué)常數(shù)和數(shù)學(xué)函數(shù)，比如pi、三角函數(shù)等等。
5、datetime：日期和時(shí)間的操作庫(kù)
日期和時(shí)間的管理并不復(fù)雜，但容易犯錯(cuò)。Python的標(biāo)準(zhǔn)庫(kù)中對(duì)日期和時(shí)間的管理頗為完善，你不僅可以進(jìn)行日期時(shí)間的查詢和變換，還可以對(duì)日期時(shí)間進(jìn)行運(yùn)算。通過(guò)這些標(biāo)準(zhǔn)庫(kù)，還可以根據(jù)需要控制日期時(shí)間輸出的文本格式。
除此之外，Python還有很多第三方庫(kù)，了解更多可移步：oldboyedu
13個(gè)最常用的Python深度學(xué)習(xí)庫(kù)介紹
如果你對(duì)深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)感興趣，但是并不知道從哪里開始，也不知道使用哪種庫(kù)，那么這里就為你提供了許多幫助。
在這篇文章里，我詳細(xì)解讀了9個(gè)我最喜歡的Python深度學(xué)習(xí)庫(kù)。
這個(gè)名單并不詳盡，它只是我在計(jì)算機(jī)視覺(jué)的職業(yè)生涯中使用并在某個(gè)時(shí)間段發(fā)現(xiàn)特別有用的一個(gè)庫(kù)的列表。
這其中的一些庫(kù)我比別人用的多很多，尤其是Keras、mxnet和sklearn-theano。
其他的一些我是間接的使用，比如Theano和TensorFlow（庫(kù)包括Keras、deepy和Blocks等）。
另外的我只是在一些特別的任務(wù)中用過(guò)（比如nolearn和他們的Deep Belief Network implementation）。
這篇文章的目的是向你介紹這些庫(kù)。我建議你認(rèn)真了解這里的每一個(gè)庫(kù)，然后在某個(gè)具體工作情境中你就可以確定一個(gè)最適用的庫(kù)。
我想再次重申，這份名單并不詳盡。此外，由于我是計(jì)算機(jī)視覺(jué)研究人員并長(zhǎng)期活躍在這個(gè)領(lǐng)域，對(duì)卷積神經(jīng)網(wǎng)絡(luò)（細(xì)胞神經(jīng)網(wǎng)絡(luò)）方面的庫(kù)會(huì)關(guān)注更多。
我把這個(gè)深度學(xué)習(xí)庫(kù)的列表分為三個(gè)部分。
第一部分是比較流行的庫(kù)，你可能已經(jīng)很熟悉了。對(duì)于這些庫(kù)，我提供了一個(gè)通俗的、高層次的概述。然后，針對(duì)每個(gè)庫(kù)我詳細(xì)解說(shuō)了我的喜歡之處和不喜歡之處，并列舉了一些適當(dāng)?shù)膽?yīng)用案例。
第二部分進(jìn)入到我個(gè)人最喜歡的深度學(xué)習(xí)庫(kù)，也是我日常工作中使用最多的，包括：Keras、mxnet和sklearn-theano等。
最后，我對(duì)第一部分中不經(jīng)常使用的庫(kù)做了一個(gè)“福利”板塊，你或許還會(huì)從中發(fā)現(xiàn)有用的或者是在第二板塊中我還沒(méi)有嘗試過(guò)但看起來(lái)很有趣的庫(kù)。
接下來(lái)就讓我們繼續(xù)探索。
針對(duì)初學(xué)者：
Caffe
提到“深度學(xué)習(xí)庫(kù)”就不可能不說(shuō)到Caffe。事實(shí)上，自從你打開這個(gè)頁(yè)面學(xué)習(xí)深度學(xué)習(xí)庫(kù)，我就敢打保票你肯定聽說(shuō)Caffe。
那么，究竟Caffe是什么呢？
Caffe是由Berkeley Vision and Learning Center（BVLC）建立的深度學(xué)習(xí)框架。它是模塊化的，速度極快。而且被應(yīng)用于學(xué)術(shù)界和產(chǎn)業(yè)界的start-of-the-art應(yīng)用程序中。
事實(shí)上，如果你去翻閱最新的深度學(xué)習(xí)出版物（也提供源代碼），你就很可能會(huì)在它們相關(guān)的GitHub庫(kù)中找到Caffe模型。
雖然Caffe本身并不是一個(gè)Python庫(kù)，但它提供綁定到Python上的編程語(yǔ)言。我們通常在新領(lǐng)域開拓網(wǎng)絡(luò)的時(shí)候使用這些綁定。
我把Caffe放在這個(gè)列表的原因是它幾乎被應(yīng)用在各個(gè)方面。你可以在一個(gè)空白文檔里定義你的模型架構(gòu)和解決方案，建立一個(gè)JSON文件類型的.prototxt配置文件。Caffe二進(jìn)制文件提取這些.prototxt文件并培訓(xùn)你的網(wǎng)絡(luò)。Caffe完成培訓(xùn)之后，你可以把你的網(wǎng)絡(luò)和經(jīng)過(guò)分類的新圖像通過(guò)Caffe二進(jìn)制文件，更好的就直接通過(guò)Python或MATLAB的API。
雖然我很喜歡Caffe的性能（它每天可以在K40 GPU上處理60萬(wàn)張圖片），但相比之下我更喜歡Keras和mxnet。
主要的原因是，在.prototxt文件內(nèi)部構(gòu)建架構(gòu)可能會(huì)變得相當(dāng)乏味和無(wú)聊。更重要的是， Caffe不能用編程方式調(diào)整超參數(shù)！由于這兩個(gè)原因，在基于Python的API中我傾向于對(duì)允許我實(shí)現(xiàn)終端到終端聯(lián)播網(wǎng)的庫(kù)傾斜（包括交叉驗(yàn)證和調(diào)整超參數(shù)）。
Theano
在最開始我想說(shuō)Theano是美麗的。如果沒(méi)有Theano，我們根本不會(huì)達(dá)到現(xiàn)有的深度學(xué)習(xí)庫(kù)的數(shù)量（特別是在Python）。同樣的，如果沒(méi)有numpy，我們就不會(huì)有SciPy、scikit-learn和 scikit-image,，同樣可以說(shuō)是關(guān)于Theano和深度學(xué)習(xí)更高級(jí)別的抽象。
非常核心的是，Theano是一個(gè)Python庫(kù)，用來(lái)定義、優(yōu)化和評(píng)估涉及多維數(shù)組的數(shù)學(xué)表達(dá)式。 Theano通過(guò)與numpy的緊密集成，透明地使用GPU來(lái)完成這些工作。
雖然可以利用Theano建立深度學(xué)習(xí)網(wǎng)絡(luò)，但我傾向于認(rèn)為Theano是神經(jīng)網(wǎng)絡(luò)的基石，同樣的numpy是作為科學(xué)計(jì)算的基石。事實(shí)上，大多數(shù)我在文章中提到的庫(kù)都是圍繞著Theano，使自己變得更加便利。
不要誤會(huì)我的意思，我愛(ài)Theano，我只是不喜歡用Theano編寫代碼。
在Theano建設(shè)卷積神經(jīng)網(wǎng)絡(luò)就像只用本機(jī)Python中的numpy寫一個(gè)定制的支持向量機(jī)（SVM），當(dāng)然這個(gè)對(duì)比并不是很完美。
你可以做到嗎？
當(dāng)然可以。
它值得花費(fèi)您的時(shí)間和精力嗎？
嗯，也許吧。這取決于你是否想擺脫低級(jí)別或你的應(yīng)用是否需要。
就個(gè)人而言，我寧愿使用像Keras這樣的庫(kù)，它把Theano包裝成更有人性化的API，同樣的方式，scikit-learn使機(jī)器學(xué)習(xí)算法工作變得更加容易。
TensorFlow
與Theano類似，TensorFlow是使用數(shù)據(jù)流圖進(jìn)行數(shù)值計(jì)算的開源庫(kù)（這是所有神經(jīng)網(wǎng)絡(luò)固有的特征）。最初由谷歌的機(jī)器智能研究機(jī)構(gòu)內(nèi)的Google Brain Team研究人員開發(fā)，此后庫(kù)一直開源，并提供給公眾。
相比于Theano ，TensorFlow的主要優(yōu)點(diǎn)是分布式計(jì)算，特別是在多GPU的環(huán)境中（雖然這是Theano正在攻克的項(xiàng)目）。
除了用TensorFlow而不是Theano替換Keras后端，對(duì)于TensorFlow庫(kù)我并沒(méi)有太多的經(jīng)驗(yàn)。然而在接下來(lái)的幾個(gè)月里，我希望這有所改變。
Lasagne
Lasagne是Theano中用于構(gòu)建和訓(xùn)練網(wǎng)絡(luò)的輕量級(jí)庫(kù)。這里的關(guān)鍵詞是輕量級(jí)的，也就意味著它不是一個(gè)像Keras一樣圍繞著Theano的重包裝的庫(kù)。雖然這會(huì)導(dǎo)致你的代碼更加繁瑣，但它會(huì)把你從各種限制中解脫出來(lái)，同時(shí)還可以讓您根據(jù)Theano進(jìn)行模塊化的構(gòu)建。
簡(jiǎn)而言之：Lasagne的功能是Theano的低級(jí)編程和Keras的高級(jí)抽象之間的一個(gè)折中。
我最喜歡的：
Keras
如果我必須選出一個(gè)最喜歡的深度學(xué)習(xí)Python庫(kù)，我將很難在Keras和mxnet中做出抉擇——但最后，我想我會(huì)選Keras。
說(shuō)真的，Keras的好處我說(shuō)都說(shuō)不完。
Keras是一個(gè)最低限度的、模塊化的神經(jīng)網(wǎng)絡(luò)庫(kù)，可以使用Theano或TensorFlow作為后端。Keras最主要的用戶體驗(yàn)是，從構(gòu)思到產(chǎn)生結(jié)果將會(huì)是一個(gè)非常迅速的過(guò)程。
在Keras中架構(gòu)網(wǎng)絡(luò)設(shè)計(jì)是十分輕松自然的。它包括一些state-of-the-art中針對(duì)優(yōu)化（Adam，RMSProp）、標(biāo)準(zhǔn)化（BatchNorm）和激活層（PReLU，ELU，LeakyReLU）最新的算法。
Keras也非常注重卷積神經(jīng)網(wǎng)絡(luò)，這也是我十分需要的。無(wú)論它是有意還是無(wú)意的，我覺(jué)得從計(jì)算機(jī)視覺(jué)的角度來(lái)看這是非常有價(jià)值的。
更重要的是，你既可以輕松地構(gòu)建基于序列的網(wǎng)絡(luò)（其中輸入線性流經(jīng)網(wǎng)絡(luò)）又可以創(chuàng)建基于圖形的網(wǎng)絡(luò)（輸入可以“跳過(guò)”某些層直接和后面對(duì)接）。這使得創(chuàng)建像GoogLeNet和SqueezeNet這樣復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)變得容易得多。
我認(rèn)為Keras唯一的問(wèn)題是它不支持多GPU環(huán)境中并行地訓(xùn)練網(wǎng)絡(luò)。這可能會(huì)也可能不會(huì)成為你的大忌。
如果我想盡快地訓(xùn)練網(wǎng)絡(luò)，那么我可能會(huì)使用mxnet。但是如果我需要調(diào)整超參數(shù)，我就會(huì)用Keras設(shè)置四個(gè)獨(dú)立的實(shí)驗(yàn)（分別在我的Titan X GPUs上運(yùn)行）并評(píng)估結(jié)果。
mxnet
我第二喜歡的深度學(xué)習(xí)Python庫(kù)無(wú)疑就是mxnet（重點(diǎn)也是訓(xùn)練圖像分類網(wǎng)絡(luò)）。雖然在mxnet中站立一個(gè)網(wǎng)絡(luò)可能需要較多的代碼，但它會(huì)提供給你驚人數(shù)量的語(yǔ)言綁定（C ++、Python、R、JavaScript等）。
Mxnet庫(kù)真正出色的是分布式計(jì)算，它支持在多個(gè)CPU / GPU機(jī)訓(xùn)練你的網(wǎng)絡(luò)，甚至可以在AWS、Azure以及YARN集群。
它確實(shí)需要更多的代碼來(lái)設(shè)立一個(gè)實(shí)驗(yàn)并在mxnet上運(yùn)行（與Keras相比），但如果你需要跨多個(gè)GPU或系統(tǒng)分配訓(xùn)練，我推薦mxnet。
sklearn-theano
有時(shí)候你并不需要終端到終端的培養(yǎng)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。相反，你需要把CNN看作一個(gè)特征提取器。當(dāng)你沒(méi)有足夠的數(shù)據(jù)來(lái)從頭培養(yǎng)一個(gè)完整的CNN時(shí)它就會(huì)變得特別有用。僅僅需要把你的輸入圖像放入流行的預(yù)先訓(xùn)練架構(gòu)，如OverFeat、AlexNet、VGGNet或GoogLeNet，然后從FC層提取特征（或任何您要使用的層）。
總之，這就是sklearn-theano的功能所在。你不能用它從頭到尾的訓(xùn)練一個(gè)模型，但它的神奇之處就是可以把網(wǎng)絡(luò)作為特征提取器。當(dāng)需要評(píng)估一個(gè)特定的問(wèn)題是否適合使用深度學(xué)習(xí)來(lái)解決時(shí)，我傾向于使用這個(gè)庫(kù)作為我的第一手判斷。
nolearn
我在PyImageSearch博客上用過(guò)幾次nolearn，主要是在我的MacBook Pro上進(jìn)行一些初步的GPU實(shí)驗(yàn)和在Amazon EC2 GPU實(shí)例中進(jìn)行深度學(xué)習(xí)。
Keras把 Theano和TensorFlow包裝成了更具人性化的API，而nolearn也為L(zhǎng)asagne做了相同的事。此外，nolearn中所有的代碼都是與scikit-learn兼容的，這對(duì)我來(lái)說(shuō)絕對(duì)是個(gè)超級(jí)的福利。
我個(gè)人不使用nolearn做卷積神經(jīng)網(wǎng)絡(luò)（CNNs），但你當(dāng)然也可以用（我更喜歡用Keras和mxnet來(lái)做CNNs）。我主要用nolearn來(lái)制作Deep Belief Networks (DBNs)。
DIGITS
DIGITS并不是一個(gè)真正的深度學(xué)習(xí)庫(kù)（雖然它是用Python寫的）。DIGITS（深度學(xué)習(xí)GPU培訓(xùn)系統(tǒng)）實(shí)際上是用于培訓(xùn)Caffe深度學(xué)習(xí)模式的web應(yīng)用程序（雖然我認(rèn)為你可以破解源代碼然后使用Caffe以外其他的后端進(jìn)行工作，但這聽起來(lái)就像一場(chǎng)噩夢(mèng)）。
如果你曾經(jīng)用過(guò)Caffe，那么你就會(huì)知道通過(guò)它的終端來(lái)定義.prototxt文件、生成圖像數(shù)據(jù)、運(yùn)行網(wǎng)絡(luò)并監(jiān)管你的網(wǎng)絡(luò)訓(xùn)練是相當(dāng)繁瑣的。 DIGITS旨在通過(guò)讓你在瀏覽器中執(zhí)行這些任務(wù)來(lái)解決這個(gè)問(wèn)題。
此外，DIGITS的用戶界面非常出色，它可以為你提供有價(jià)值的統(tǒng)計(jì)數(shù)據(jù)和圖表作為你的模型訓(xùn)練。另外，你可以通過(guò)各種輸入輕松地可視化網(wǎng)絡(luò)中的激活層。最后，如果您想測(cè)試一個(gè)特定的圖像，您可以把圖片上傳到你的DIGITS服務(wù)器或進(jìn)入圖片的URL，然后你的Caffe模型將會(huì)自動(dòng)分類圖像并把結(jié)果顯示在瀏覽器中。干凈利落！
Blocks
說(shuō)實(shí)話，雖然我一直想嘗試，但截至目前我的確從來(lái)沒(méi)用過(guò)Blocks（這也是我把它包括在這個(gè)列表里的原因）。就像許多個(gè)在這個(gè)列表中的其他庫(kù)一樣，Blocks建立在Theano之上，呈現(xiàn)出一個(gè)用戶友好型的API。
deepy
如果讓你猜deepy是圍繞哪個(gè)庫(kù)建立的，你會(huì)猜什么？
沒(méi)錯(cuò)，就是Theano。
我記得在前一段時(shí)間用過(guò)deepy（做了初始提交），但在接下里的大概6-8個(gè)月我都沒(méi)有碰它了。我打算在接下來(lái)的博客文章里再嘗試一下。
pylearn2
雖然我從沒(méi)有主動(dòng)地使用pylearn2，但由于歷史原因，我覺(jué)得很有必要把它包括在這個(gè)列表里。 Pylearn2不僅僅是一般的機(jī)器學(xué)習(xí)庫(kù)（地位類似于scikit-learn），也包含了深度學(xué)習(xí)算法的實(shí)現(xiàn)。
對(duì)于pylearn2我最大的擔(dān)憂就是（在撰寫本文時(shí)），它沒(méi)有一個(gè)活躍的開發(fā)者。正因?yàn)槿绱?，相比于像Keras和mxnet這樣的有積極維護(hù)的庫(kù)，推薦pylearn2我還有些猶豫。
Deeplearning4j
這本應(yīng)是一個(gè)基于Python的列表，但我想我會(huì)把Deeplearning4j包括在這里，主要是出于對(duì)他們所做事跡的無(wú)比崇敬——Deeplearning4j為JVM建立了一個(gè)開源的、分布式的深度學(xué)習(xí)庫(kù)。
如果您在企業(yè)工作，你可能會(huì)有一個(gè)塞滿了用過(guò)的Hadoop和MapReduce服務(wù)器的儲(chǔ)存器。也許這些你還在用，也許早就不用了。
你怎樣才能把這些相同的服務(wù)器應(yīng)用到深度學(xué)習(xí)里？
事實(shí)證明是可以的——你只需要Deeplearning4j。
總計(jì)
以上就是本文關(guān)于13個(gè)最常用的Python深度學(xué)習(xí)庫(kù)介紹的全部?jī)?nèi)容
重慶分公司
重慶分公司
