1.安裝好JDK
定安ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：13518219792（備注：SSL證書合作）期待與您的合作！下載并安裝好jdk-12.0.1_windows-x64_bin.exe，配置環(huán)境變量：
新建系統(tǒng)變量JAVA_HOME，值為Java安裝路徑
新建系統(tǒng)變量CLASSPATH，值為 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意最前面的圓點)
配置系統(tǒng)變量PATH，添加 %JAVA_HOME%bin;%JAVA_HOME%jrebin
在CMD中輸入：java或者java -version，不顯示不是內(nèi)部命令等，說明安裝成功。
2.安裝Hadoop，并配置環(huán)境變量
下載hadoop：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
解壓hadoop-2.7.7.tar.gz特定路徑，如：D:\adasoftware\hadoop
添加系統(tǒng)變量HADOOP_HOME：D:\adasoftware\hadoop
在系統(tǒng)變量PATH中添加：D:\adasoftware\hadoop\bin
安裝組件winutils：將winutils中對應的hadoop版本中的bin替換自己hadoop安裝目錄下的bin
3.Spark環(huán)境變量配置
spark是基于hadoop之上的，運行過程中會調(diào)用相關(guān)hadoop庫，如果沒配置相關(guān)hadoop運行環(huán)境，會提示相關(guān)出錯信息，雖然也不影響運行。
下載對應hadoop版本的spark：http://spark.apache.org/downloads.html
解壓文件到：D:\adasoftware\spark-2.4.3-bin-hadoop2.7
添加PATH值：D:\adasoftware\spark-2.4.3-bin-hadoop2.7\bin;
新建系統(tǒng)變量SPARK_HOME：D:\adasoftware\spark-2.4.3-bin-hadoop2.7;
4.下載安裝anaconda
anaconda集成了python解釋器和大多數(shù)python庫，安裝anaconda 后不用再安裝python和pandas numpy等這些組件了。下載地址。最后將python加到path環(huán)境變量中。
5.在CMD中運行pyspark，出現(xiàn)類似下圖說明安裝配置正常：
出現(xiàn)這種warning是因為JDK版本為12，太高了，但是不影響運行。沒有影響。
6.在pycharm中配置spark
打開PyCharm，創(chuàng)建一個Project。然后選擇“Run” ->“Edit Configurations”–>點擊+創(chuàng)建新的python Configurations
選擇 “Environment variables” 增加SPARK_HOME目錄與PYTHONPATH目錄。
SPARK_HOME:Spark安裝目錄
PYTHONPATH:Spark安裝目錄下的Python目錄
選擇 File->setting->你的project->project structure
右上角Add content root添加：py4j-some-version.zip和pyspark.zip的路徑(這兩個文件都在Spark中的python文件夾下)
保存即可無錫看婦科的醫(yī)院 http://www.ytsgfk120.com/
7.測試是否配置成功，程序代碼如下，創(chuàng)建一個python程序放進去就可以：
import os
import sys
# Path for spark source folder
os.environ['SPARK_HOME'] = "D:\adasoftware\spark"
# Append pyspark to Python Path
sys.path.append("D:\adasoftware\spark\python")
try:
from pyspark import SparkContext
from pyspark import SparkConf
print("Successfully imported Spark Modules")
except ImportError as e:
print("Can not import Spark Modules", e)
sys.exit(1)
若程序正常輸出: "Successfully imported Spark Modules"就說明環(huán)境已經(jīng)可以正常執(zhí)行。
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。
重慶分公司
重慶分公司
