真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網站制作重慶分公司

hadoop新特性通過NFSv3掛載HDFS到本地目錄-創(chuàng)新互聯(lián)

原理

城固ssl適用于網站、小程序/APP、API接口等需要進行數據傳輸應用場景,ssl證書未來市場廣闊!成為創(chuàng)新互聯(lián)公司的ssl證書銷售渠道,可以享受市場價格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:18982081108(備注:SSL證書合作)期待與您的合作!

NFS允許用戶像訪問本地文件系統(tǒng)一樣訪問遠程文件系統(tǒng),而將NFS引入HDFS后,用戶可像讀寫本地文件一樣讀寫HDFS上的文件,大大簡化了HDFS使用,這是通過引入一個NFS gateway服務實現的,該服務能將NFS協(xié)議轉換為HDFS訪問協(xié)議,具體如下圖所示。

hadoop新特性通過NFSv3掛載HDFS到本地目錄

Portmap和Nfs3進程是成功啟動hdfs nfs網關后才有的進程

HDFS NFS Gateway安裝配置詳解

http://blog.csdn.net/rzliuwei/article/details/38388279

啟動NFS Gateway 服務

官網鏈接

http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html

hadoop新特性通過NFSv3掛載HDFS到本地目錄

驗證服務

hadoop新特性通過NFSv3掛載HDFS到本地目錄

hadoop新特性通過NFSv3掛載HDFS到本地目錄

如果不是可以查看/etc/exports文件

hadoop新特性通過NFSv3掛載HDFS到本地目錄

掛載HDFS

掛載HDFS文件系統(tǒng)到本地的/mnt/hdfs目錄下

在NFS GATEWAY主機上輸入

sudo mount -t nfs -o vers=3,proto=tcp,nolock 192.168.1.105:/ /mnt/hdfs

May 8 15:53:18 cdh2 rpc.mountd[3689]: refused mount request from 192.168.1.105 for / (/): unmatched host

如果報錯因為機器默認沒有打開NFSv3,修改/etc/sysconfig/nfs文件

把RPCNFSDARGS="-N 4"前面的#去掉(4兼容2和3),修改重啟所有服務。

hadoop新特性通過NFSv3掛載HDFS到本地目錄

查看報錯詳細信息:
cat /var/log/messages|grep mount

成功掛載后如下所示,可以看到HDFS文件系統(tǒng)已掛載到本地目錄

hadoop新特性通過NFSv3掛載HDFS到本地目錄

創(chuàng)建目錄

hadoop新特性通過NFSv3掛載HDFS到本地目錄
可以看到HDFS系統(tǒng)上對應目錄已創(chuàng)建成功

hadoop新特性通過NFSv3掛載HDFS到本地目錄

從本地上傳文件到HDFS

文件大小為500m,測試性能

time cp /opt/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz /mnt/hdfs/test

hadoop新特性通過NFSv3掛載HDFS到本地目錄

我的環(huán)境上耗時大概48s,10M/s的速度,還可以

解掛HDFS

報錯umount.nfs: /mnt/hdfs: device is busy

hadoop新特性通過NFSv3掛載HDFS到本地目錄

fuser -m /mnt/hdfs,查看此文件系統(tǒng)正在被哪些進程訪問

hadoop新特性通過NFSv3掛載HDFS到本地目錄

yum -y install lsof
查看此文件系統(tǒng)中正在被使用的文件,可以看到/data目錄被正在使用

hadoop新特性通過NFSv3掛載HDFS到本地目錄

kill -9 15355 殺死訪問進程就可以,輸入umount /mnt/hdfs解掛成功。

補充:

linux下好用的命令:tree

安裝tree包

yum -y install tree

 安裝后鍵入 tree /mnt/hdfs/hbase,目錄結構以樹形的方式顯示是不是很直觀

hadoop新特性通過NFSv3掛載HDFS到本地目錄

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。


分享名稱:hadoop新特性通過NFSv3掛載HDFS到本地目錄-創(chuàng)新互聯(lián)
網站鏈接:http://weahome.cn/article/dojjcg.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部