spark可以用來跑Python程序嗎？這個問題可能是我們日常學習或工作經常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家?guī)淼膮⒖純热?，讓我們一起來看看吧?/p>

崇陽網站制作公司哪家好，找成都創(chuàng)新互聯(lián)公司！從網頁設計、網站建設、微信開發(fā)、APP開發(fā)、成都響應式網站建設等網站項目制作，到程序開發(fā)，運營維護。成都創(chuàng)新互聯(lián)公司于2013年成立到現(xiàn)在10年的時間，我們擁有了豐富的建站經驗和運維經驗，來保證我們的工作的順利進行。專注于網站建設就選成都創(chuàng)新互聯(lián)公司。

spark能跑Python么？

spark是可以跑Python程序的。python編寫好的算法，或者擴展庫的，比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的，大部分算法都有。

Spark 是一個通用引擎，可用它來完成各種各樣的運算，包括 SQL 查詢、文本處理、機器學習等。

本次實驗是搭有spark環(huán)境的linux下跑的，spark版本為1.6.1，相當于在在spark本地執(zhí)行，spark文件放在/opt/moudles/spark-1.6.1/（代碼中會看到）

編寫python測試程序

#test.py文件
# -*- coding:utf-8 -*-
import os
import sys
#配置環(huán)境變量并導入pyspark
os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'
sys.path.append("/opt/moudles/spark-1.6.1/python")
sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")
from pyspark import SparkContext, SparkConf
appName ="spark_1" #應用程序名稱
master= "spark://hadoop01:7077"#hadoop01為主節(jié)點hostname，請換成自己的主節(jié)點主機名稱
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print("===========================================")
print (res)
print("===========================================")

執(zhí)行python程序

執(zhí)行如下命令

python test.py

執(zhí)行與結果分別如下圖所示：

感謝各位的閱讀！看完上述內容，你們對spark可以用來跑Python程序嗎大概了解了嗎？希望文章內容對大家有所幫助。如果想了解更多相關文章內容，歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。