本篇文章為大家展示了Hadoop和Spark中怎么設(shè)置用戶訪問hdfs,內(nèi)容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比玉山網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式玉山網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務(wù)覆蓋玉山地區(qū)。費用合理售后完善,十余年實體公司更值得信賴。
1.對于hadoop而言
如果hadoop沒有啟Kerberos或者從Kerberos獲取的用戶為null,那么獲取HADOOP_USER_NAME環(huán)境變量,并將它的值作為Hadoop執(zhí)行用戶。如果我們沒有設(shè)置HADOOP_USER_NAME環(huán)境變量,那么程序?qū)⒄{(diào)用whoami來獲取當前用戶,并用groups來獲取用戶所在組。
所以可以設(shè)置環(huán)境變量:
export HADOOP_USER_NAME=hdfs
1
或者在程序中設(shè)置:
System.setProperty("HADOOP_USER_NAME", "hdfs");
1
2.對于Spark
Spark默認將用戶程序運行所在系統(tǒng)的當前登錄用戶作為用戶程序的關(guān)聯(lián)用戶。
所以可以采用一下兩種方法:
1.修改當前用戶名為: hdfs
2.代碼中添加:
System.setProperty("user.name", "hdfs");
上述內(nèi)容就是Hadoop和Spark中怎么設(shè)置用戶訪問hdfs,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。