最近在學(xué)習(xí)Spark的機(jī)器學(xué)習(xí)，由于在機(jī)器學(xué)習(xí)方面Python語言表現(xiàn)不俗，故我選擇使用Python語言作為Spark機(jī)器學(xué)習(xí)的開發(fā)語言，也為后續(xù)的深度學(xué)習(xí)打下基礎(chǔ)，故下面是在windows8.1下搭建eclipse4.4.2+Python2.7.14+Spark2.1.0的開發(fā)環(huán)境，具體過程如下：
到下面這個(gè)地址下載對(duì)應(yīng)操作系統(tǒng)的Python安裝文件
https://www.python.org/downloads/release/python-2714/
我是windows8.1 64位，故下載Windows x86-64 MSI installer版本的安裝文件。
1）、雙擊
；
2）、在彈出的界面選擇安裝到當(dāng)前用戶即可，然后點(diǎn)擊Next下一步；
3）、選擇安裝的路徑，我這里選擇安裝到D:\Python27\，然后點(diǎn)擊Next下一步；
4）、這一步直接點(diǎn)擊Next下一步，然后等待安裝完成；
5）、出現(xiàn)如下界面，表示安裝完成，直接點(diǎn)擊Finsh完成。
在環(huán)境變量中添加Python目錄：
在命令提示框中(cmd) : 輸入
path=%path%;D:\Python27
按下"Enter"。
注意:D:\Python27 是Python的安裝目錄。
也可以通過以下方式設(shè)置：
· 右鍵點(diǎn)擊"計(jì)算機(jī)"，然后點(diǎn)擊"屬性"
· 然后點(diǎn)擊"高級(jí)系統(tǒng)設(shè)置"
· 選擇"系統(tǒng)變量"窗口下面的"Path",雙擊即可！
· 然后在"Path"行，添加python安裝路徑即可(我的D:\Python27)，所以在后面，添加該路徑即可。 ps：記住，路徑直接用分號(hào)"；"隔開！
如下圖：
· 最后設(shè)置成功以后重啟電腦，重啟電腦完成之后在cmd命令行，輸入命令"python"，就可以看到如下圖的相關(guān)信息顯示，表示python安裝成功。
下面幾個(gè)重要的環(huán)境變量，它應(yīng)用于Python：
變量名 | 描述 |
PYTHONPATH | PYTHONPATH是Python搜索路徑，默認(rèn)我們import的模塊都會(huì)從PYTHONPATH里面尋找。 |
PYTHONSTARTUP | Python啟動(dòng)后，先尋找PYTHONSTARTUP環(huán)境變量，然后執(zhí)行此文件中變量指定的執(zhí)行代碼。 |
PYTHONCASEOK | 加入PYTHONCASEOK的環(huán)境變量, 就會(huì)使python導(dǎo)入模塊的時(shí)候不區(qū)分大小寫. |
PYTHONHOME | 另一種模塊搜索路徑。它通常內(nèi)嵌于的PYTHONSTARTUP或PYTHONPATH目錄中，使得兩個(gè)模塊庫(kù)更容易切換。 |
該步驟簡(jiǎn)單，省略，我的Eclipse版本為4.4.2。
注意：安裝Eclipse之前需要安裝JDK。
1）、啟動(dòng)Eclipse, 點(diǎn)擊Help->InstallNew Software... 在彈出的對(duì)話框中，點(diǎn)Add按鈕。 Name中填:pydev, Location中填https://dl.bintray.com/fabioz/pydev/5.2.0（因我的Eclipse為4.4.2故安裝對(duì)應(yīng)5.2.0版本的插件，如果是最新的Eclipse，直接使用http://pydev.org/updates），然后一步一步裝下去。 如果裝的過程中，報(bào)錯(cuò)了就重新裝。
2）、下面這步只選擇PyDev節(jié)點(diǎn)下的所有，然后點(diǎn)擊Next下一步；
3）、這一步直接點(diǎn)擊Next下一步；
4）、這一步選擇接受Iaccept……，然后點(diǎn)擊Next下一步，然后等待插件安裝完成并重啟Eclipse。
安裝好pydev后， 需要配置Python解釋器。
1）、在Eclipse菜單欄中，點(diǎn)擊Windows->Preferences.
2）、在對(duì)話框中，點(diǎn)擊PyDev->Interpreters– Python Interpreter. 點(diǎn)擊New按鈕，選擇python.exe的路徑，然后點(diǎn)擊OK，彈出下一步的窗口；
3）、在彈出一個(gè)包含很多復(fù)選框新的窗口，點(diǎn)OK之后出現(xiàn)下一步的窗口。
4）、點(diǎn)擊該窗口的OK則完成插件的配置。
1）、啟動(dòng)Eclipse，創(chuàng)建一個(gè)新的項(xiàng)目，F(xiàn)ile->New->Projects...選擇PyDev->PyDevProject 輸入項(xiàng)目名稱，如下圖：
2）、新建 PyDevPackage，輸入包名Test1；
3）、在__init__.py文件中編寫代碼，然后運(yùn)行，正常在控制臺(tái)輸出，表示開發(fā)環(huán)境搭建完成。
可以從http://spark.apache.org/downloads.html上下載對(duì)應(yīng)的版本，我用的版本是spark-2.1.0-bin-hadoop2.7.tgz，下載完壓縮文件后，解壓。我解壓到F:\BigData\Spark\spark-2.1.0-bin-hadoop2.7；
1）、新建SPARK_HOME變量，變量值為：F:\BigData\Spark\spark-2.1.0-bin-hadoop2.7，同時(shí)將%SPARK_HOME%\bin添加到系統(tǒng)Path變量，然后重啟電腦；
將spark目錄下的pyspark文件夾（F:\BigData\Spark\spark-2.1.0-bin-hadoop2.7\python\pyspark）復(fù)制到python安裝目錄D:\Python27\Lib\site-packages里，然后在cmd命令行窗口執(zhí)行pyspark命令出現(xiàn)如下圖則表示安裝成功：
原因：運(yùn)行python代碼的時(shí)候報(bào)如題的錯(cuò)誤信息，表示Python沒有安裝py4j模塊
解決方案：在cmd命令行下運(yùn)行cd D:\Python27\Scripts（我的python安裝在D:\Python27\盤，這里是切換到pip的安裝目錄下，然后才能執(zhí)行pip，沒有裝pip的需要預(yù)先安裝），然后運(yùn)行pipinstall py4j安裝相關(guān)庫(kù)，如下截圖表示安裝成功。
原因：運(yùn)行python代碼的時(shí)候報(bào)如題的錯(cuò)誤信息，表示Python沒有安裝numpy模塊
解決方案：在cmd命令行下運(yùn)行cd D:\Python27\Scripts（我的python安裝在D:\Python27\盤，這里是切換到pip的安裝目錄下，然后才能執(zhí)行pip，沒有裝pip的需要預(yù)先安裝），然后運(yùn)行pipinstall numpy安裝相關(guān)庫(kù)，如下截圖表示安裝成功。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
