這篇文章將為大家詳細(xì)講解有關(guān)CDSW中Run Experiments異常的示例分析，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

創(chuàng)新互聯(lián)專注于網(wǎng)站建設(shè)|企業(yè)網(wǎng)站維護(hù)|優(yōu)化|托管以及網(wǎng)絡(luò)推廣，積累了大量的網(wǎng)站設(shè)計(jì)與制作經(jīng)驗(yàn)，為許多企業(yè)提供了網(wǎng)站定制設(shè)計(jì)服務(wù)，案例作品覆蓋成都咖啡廳設(shè)計(jì)等行業(yè)。能根據(jù)企業(yè)所處的行業(yè)與銷售的產(chǎn)品，結(jié)合品牌形象的塑造，量身建設(shè)品質(zhì)網(wǎng)站。

從CDSW (Cloudera Data Science Workbench) 1.4開始，CDSW中新增了一個(gè)Experiments 功能，它允許數(shù)據(jù)科學(xué)家運(yùn)行批處理實(shí)驗(yàn)，跟蹤不同版本的代碼，并進(jìn)行參數(shù)輸入和輸出。Experiments 是批量執(zhí)行的工作負(fù)載，將代碼、輸入?yún)?shù)和輸出模板化。此功能還提供輕量級(jí)跟蹤輸出數(shù)據(jù)的功能，包括文件、指標(biāo)和元數(shù)據(jù)用以進(jìn)行比較。

• 測(cè)試環(huán)境：

1.RedHat7.2

2.CDH5.16.1

當(dāng)我們?cè)陧?xiàng)目中添加一個(gè)腳本，這里使用官方示例 add.py

import sys
import cdsw

args = len(sys.argv) - 1  
sum = 0
x = 1

while (args >= x): 
    print ("Argument %i: %s" % (x, sys.argv[x]))
    sum = sum + int(sys.argv[x])
    x = x + 1

print ("Sum of the numbers is: %i." % sum)

參數(shù)如下：

run experiments ，會(huì)出現(xiàn)如下錯(cuò)誤

關(guān)于上面的問(wèn)題主要在于run experiments 時(shí)，會(huì)run /home/cdsw/cdsw-build.sh,這個(gè)腳本中會(huì)執(zhí)行pip install sklearn,當(dāng)我們?cè)陔x線的環(huán)境下，無(wú)法安裝sklearn 包，就會(huì)出現(xiàn)該問(wèn)題，那么解決該問(wèn)題有兩種辦法

如何定制鏡像可以參考Fayson 之前的文章《如何基于CDSW基礎(chǔ)鏡像定制Docker》和《如何在CDSW中定制Docker鏡像》這里不多描述，定制完成后選擇新的鏡像并保存

然后重新打開會(huì)話，run experiments

發(fā)現(xiàn)可以正常pip install sklearn，并成功執(zhí)行完成

進(jìn)入會(huì)話中，點(diǎn)擊_Terminal access

注釋/home/cdsw/cdsw-build.sh 文件中的pip install sklearn

然后再重新執(zhí)行，也可以正常執(zhí)行完成

關(guān)于“CDSW中Run Experiments異常的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。