本篇內(nèi)容介紹了“Spark Sql的安裝過(guò)程”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！
創(chuàng)新互聯(lián)公司主營(yíng)港南網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,重慶App定制開(kāi)發(fā),港南h5微信小程序開(kāi)發(fā)搭建,港南網(wǎng)站營(yíng)銷推廣歡迎港南等地區(qū)企業(yè)咨詢
一、啟動(dòng)zk、啟動(dòng)hdfs集群、啟動(dòng)hive服務(wù)（hive --service metastore）
二、修改spark中conf下的hive-site.xml配置文件（就和hive的client的配置文件相同）
注：這里配置文件只需要修改一臺(tái)主機(jī)就可以了，這里相當(dāng)于client
三、啟動(dòng)spark集群
四、啟動(dòng)spark sql(./bin/spark-sql --master spark://node11:7077 --executor-memory 512m)
注：配置文件spark-env.sh中如果配置的是ip 那么命令就需要用ip，如果配置文件中配置的是主機(jī)名，那么命令就要用主機(jī)名；
SparkSQL thrift server環(huán)境搭建
1、hive-site.xml 中添加配置
二、啟動(dòng)spark thrift server
./sbin/start-thriftserver.sh --master spark://192.168.57.4:7077 --executor-memory 512M
三、啟動(dòng)以后可以通過(guò)bin目錄下beeline訪問(wèn)
./bin/beeline
!connect jdbc:hive2://node12:10000
注：這樣可以進(jìn)入sparksql控制臺(tái)，但是不能查詢，報(bào)錯(cuò)，需要將hdfs集群中core-site.xml 和 hdfs-site.xml拷貝到spark中conf下（每個(gè)spark集群節(jié)點(diǎn)都要拷貝）
“Spark Sql的安裝過(guò)程”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！
重慶分公司
重慶分公司
