原理
城固ssl適用于網站、小程序/APP、API接口等需要進行數據傳輸應用場景,ssl證書未來市場廣闊!成為創(chuàng)新互聯(lián)公司的ssl證書銷售渠道,可以享受市場價格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:18982081108(備注:SSL證書合作)期待與您的合作!NFS允許用戶像訪問本地文件系統(tǒng)一樣訪問遠程文件系統(tǒng),而將NFS引入HDFS后,用戶可像讀寫本地文件一樣讀寫HDFS上的文件,大大簡化了HDFS使用,這是通過引入一個NFS gateway服務實現的,該服務能將NFS協(xié)議轉換為HDFS訪問協(xié)議,具體如下圖所示。
Portmap和Nfs3進程是成功啟動hdfs nfs網關后才有的進程
HDFS NFS Gateway安裝配置詳解
http://blog.csdn.net/rzliuwei/article/details/38388279
啟動NFS Gateway 服務
官網鏈接
http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html
驗證服務
如果不是可以查看/etc/exports文件
掛載HDFS
掛載HDFS文件系統(tǒng)到本地的/mnt/hdfs目錄下
在NFS GATEWAY主機上輸入
sudo mount -t nfs -o vers=3,proto=tcp,nolock 192.168.1.105:/ /mnt/hdfs
May 8 15:53:18 cdh2 rpc.mountd[3689]: refused mount request from 192.168.1.105 for / (/): unmatched host
如果報錯因為機器默認沒有打開NFSv3,修改/etc/sysconfig/nfs文件
把RPCNFSDARGS="-N 4"前面的#去掉(4兼容2和3),修改重啟所有服務。
查看報錯詳細信息:
cat /var/log/messages|grep mount
成功掛載后如下所示,可以看到HDFS文件系統(tǒng)已掛載到本地目錄
創(chuàng)建目錄
可以看到HDFS系統(tǒng)上對應目錄已創(chuàng)建成功
從本地上傳文件到HDFS
文件大小為500m,測試性能
time cp /opt/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz /mnt/hdfs/test
我的環(huán)境上耗時大概48s,10M/s的速度,還可以
解掛HDFS
報錯umount.nfs: /mnt/hdfs: device is busy
fuser -m /mnt/hdfs,查看此文件系統(tǒng)正在被哪些進程訪問
yum -y install lsof
查看此文件系統(tǒng)中正在被使用的文件,可以看到/data目錄被正在使用
kill -9 15355 殺死訪問進程就可以,輸入umount /mnt/hdfs解掛成功。
補充:
linux下好用的命令:tree
安裝tree包
yum -y install tree
安裝后鍵入 tree /mnt/hdfs/hbase,目錄結構以樹形的方式顯示是不是很直觀
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。