本篇內(nèi)容主要講解“spark的Web監(jiān)控頁面是怎樣的”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學(xué)習(xí)“spark的Web監(jiān)控頁面是怎樣的”吧!
成都創(chuàng)新互聯(lián)是一家專注于網(wǎng)站制作、網(wǎng)站建設(shè)與策劃設(shè)計,吉隆網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:吉隆等地區(qū)。吉隆做網(wǎng)站價格咨詢:18982081108
在SparkContext中可以看到初始化UI代碼：
重慶分公司
重慶分公司
// Initialize the Spark UIprivate[spark] val ui: Option[SparkUI] = if (conf.getBoolean("spark.ui.enabled", true)) { Some(SparkUI.createLiveUI(this, conf, listenerBus, jobProgressListener, env.securityManager,appName))
} else { // For tests, do not enable the UI None
}// Bind the UI before starting the task scheduler to communicate// the bound port to the cluster manager properlyui.foreach(_.bind())創(chuàng)建SparkUI對象：
def createLiveUI(
sc: SparkContext, conf: SparkConf, listenerBus: SparkListenerBus, jobProgressListener: JobProgressListener, securityManager: SecurityManager, appName: String): SparkUI = { create(Some(sc), conf, listenerBus, securityManager, appName, jobProgressListener = Some(jobProgressListener))
}進入create方法：
SparkUI 繼承了WebUI：
SparkUI的initialize()實現(xiàn)方法：
2、stagesTab：
4、EnvironmentTab：
6、createStaticHandler：
當(dāng)執(zhí)行完initialize()方法后，我們回到SparkContext 的Initialize the spark UI:
從上面代碼可以看出來，啟動了端口號為4040的本地JettyServer
上面代碼分析：
1、創(chuàng)建ContextHandlerCollection并將handlers設(shè)置到ContextHandlerCollection中
2、增加一個filter：
3、創(chuàng)建Jetty Server并綁定端口號并創(chuàng)建一個QueuedThreadPool，設(shè)置到Server中：
5、試著重試幾次啟動startServiceOnPort，如果啟動失敗，就更換新端口號（規(guī)則是1+oldPort），重新啟動：
到此，相信大家對“spark的Web監(jiān)控頁面是怎樣的”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！
