moonbox-0.3.0-beta下載：https://github.com/edp963/moonbox/releases/tag/0.3.0-beta
重慶分公司
重慶分公司
tar -zxvf moonbox-assembly_2.11-0.3.0-beta-dist.tar.gz配置文件位于conf目錄下
mv slaves.example slaves
vim slaves將會看到如下內(nèi)容:
localhost請根據(jù)實際情況修改為需要部署worker節(jié)點的地址, 每行一個地址
mv moonbox-env.sh.example moonbox-env.sh
chmod u+x moonbox-env.sh
vim moonbox-env.sh將會看到如下內(nèi)容:
export JAVA_HOME=path/to/installed/dir
export SPARK_HOME=path/to/installed/dir
export YARN_CONF_DIR=path/to/yarn/conf/dir
export MOONBOX_SSH_OPTS="-p 22"
export MOONBOX_HOME=path/to/installed/dir
# export MOONBOX_LOCAL_HOSTNAME=localhost
export MOONBOX_MASTER_HOST=localhost
export MOONBOX_MASTER_PORT=2551請根據(jù)實際情況修改
mv moonbox-defaults.conf.example moonbox-defaults.conf
vim moonbox-defaults.conf將會看到以下內(nèi)容,其中:
配置元數(shù)據(jù)存儲位置, 必須修改, 請根據(jù)實際情況修改
配置rest服務(wù), 按需修改
配置tcp(jdbc)服務(wù), 按需修改
配置Spark Local模式作業(yè), 值為數(shù)組, 有多少個元素表示每個Worker節(jié)點啟動多少個Spark Local模式作業(yè)。如不需要可刪除。
配置Spark yarn模式作業(yè), 值為數(shù)組, 有多少個元素表示每個Worker節(jié)點啟動多少個Spark Yarn模式作業(yè)。如不需要可刪除。
moonbox {
deploy {
catalog {
implementation = "mysql"
url = "jdbc:mysql://host:3306/moonbox?createDatabaseIfNotExist=true"
user = "root"
password = "123456"
driver = "com.mysql.jdbc.Driver"
}
rest {
enable = true
port = 9099
request.timeout = "600s"
idle.timeout= "600s"
}
tcp {
enable = true
port = 10010
}
}
mixcal {
pushdown.enable = true
column.permission.enable = true
spark.sql.cbo.enabled = true
spark.sql.constraintPropagation.enabled = false
local = [{}]
cluster = [{
spark.hadoop.yarn.resourcemanager.hostname = "master"
spark.hadoop.yarn.resourcemanager.address = "master:8032"
spark.yarn.stagingDir = "hdfs://master:8020/tmp"
spark.yarn.access.namenodes = "hdfs://master:8020"
spark.loglevel = "ERROR"
spark.cores.max = 2
spark.yarn.am.memory = "512m"
spark.yarn.am.cores = 1
spark.executor.instances = 2
spark.executor.cores = 1
spark.executor.memory = "2g"
}]
}
}將cluster元素中相關(guān)部分改為以下配置, 請根據(jù)實際情況修改。具體值可查閱hdfs配置文件和yarn配置文件。
#### HDFS HA ####
spark.hadoop.fs.defaultFS="hdfs://service_name"
spark.hadoop.dfs.nameservices="service_name"
spark.hadoop.dfs.ha.namenodes.service_name="xxx1,xxx2"
spark.hadoop.dfs.namenode.rpc-address.abdt.xxx1="xxx1_host:8020"
spark.hadoop.dfs.namenode.rpc-address.abdt.xxx2="xxx2_host:8020"
spark.hadoop.dfs.client.failover.proxy.provider.abdt="org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
spark.yarn.stagingDir = "hdfs://service_name/tmp" #### HDFS kerberos ####
dfs.namenode.kerberos.principal = ""
dfs.namenode.kerberos.keytab = "" #### YARN HA ####
spark.hadoop.yarn.resourcemanager.ha.enabled=true
spark.hadoop.yarn.resourcemanager.ha.rm-ids="yyy1,yyy2"
spark.hadoop.yarn.resourcemanager.hostname.rm1="yyy1_host"
spark.hadoop.yarn.resourcemanager.hostname.rm2="yyy2_ho
st" #### YARN kerberos ####
spark.yarn.principal = ""
spark.yarn.keytab = ""將MySQL Jdbc驅(qū)動包放置到libs和runtime目錄下, 然后將整個moonbox安裝目錄拷貝到所有安裝節(jié)點, 確保位置與主節(jié)點位置一致。
在master節(jié)點執(zhí)行
sbin/start-all.sh在master節(jié)點執(zhí)行
sbin/stop-all.sh在master節(jié)點執(zhí)行如下命令, 將會看到 MoonboxMaster 進程
jps | grep Moonbox在worker節(jié)點執(zhí)行如下命令, 將會看到 MoonboxWorker 進程
jps | grep Moonbox在worker節(jié)點執(zhí)行如下命令, 將會看到與配置文件對應(yīng)個數(shù)的 SparkSubmit 進程
jps -m | grep Spark使用moonbox-cluster命令查看集群信息
bin/moonbox-cluster workers
bin/moonbox-cluster apps如果檢查通過, 則集群啟動成功, 即可參閱examples部分開始體驗啦。 如果檢查失敗, 可通過查看master節(jié)點或者worker節(jié)點上logs目錄下的日志進行問題排查。
開源地址：https://github.com/edp963/moonbox
來源：宜信技術(shù)學(xué)院
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
