分布式文件系統(tǒng)

什么是分布式文件系統(tǒng)？

    (1)分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連
    (2)分布式文件系統(tǒng)的設(shè)計(jì)基于客戶機(jī)/服務(wù)器模式

分布式文件系統(tǒng)的特點(diǎn)

(1)將固定于某個(gè)地點(diǎn)的某個(gè)文件系統(tǒng)，擴(kuò)展到任意多個(gè)地點(diǎn)/多個(gè)文件系統(tǒng)
(2)每個(gè)節(jié)點(diǎn)可以分布在不同地點(diǎn)，通過(guò)網(wǎng)絡(luò)進(jìn)行節(jié)點(diǎn)間的通信和數(shù)據(jù)傳輸 

基礎(chǔ)架構(gòu)
客戶端--------------主控服務(wù)器
                      |
                      |
                      |
    數(shù)據(jù)服務(wù)器1  數(shù)據(jù)服務(wù)器2  數(shù)據(jù)服務(wù)器3  ...數(shù)據(jù)服務(wù)器n
    （把數(shù)據(jù)存放在一個(gè)服務(wù)器集群上，由集群中的服務(wù)器提供整個(gè)文件系統(tǒng)服務(wù)）

    主控服務(wù)器
    ——master管理各個(gè)數(shù)據(jù)服務(wù)器，分配任務(wù)
     —主控服務(wù)器上放著所有的文件目錄信息，要找文件，必須訪問(wèn)它
     數(shù)據(jù)服務(wù)器
     —存放數(shù)據(jù)
     —冗余模式

FastDFS

  FastDFS服務(wù)端有兩個(gè)角色: 跟蹤器（tracker）和存儲(chǔ)節(jié)點(diǎn)（storage）
  —跟蹤器: 主要做調(diào)度工作，在訪問(wèn)上起負(fù)載均衡作用
  —存儲(chǔ)節(jié)點(diǎn): 完成文件管理的所有功能，即存儲(chǔ)、同步和提供存取接口，同時(shí)對(duì)文件的元數(shù)據(jù)進(jìn)行管理
  FastDFS采用了分組存儲(chǔ)方式
  —集群由一個(gè)或多個(gè)組構(gòu)成，集群存儲(chǔ)總?cè)萘繛榧褐兴薪M的存儲(chǔ)容量之和

FastDFS搭建

  [tracker50]
  #yum -y install gcc libevent make
  #unzip fastdfs.zip
  #tar zxf FastDFS_v4.06.tar.gz         
  #rpm -ivh libevent-*             
  #cd FastDFS
  #./make.sh
  #./make.sh install
  #cd init.d/
  #cp fdfs_trackerd /etc/init.d/
  #cp storage_ids.conf /etc/fdfs/
  修改配置文件
  #vim /etc/fdfs/tracler.conf
  base_path=/data/fastdfs       存儲(chǔ)路徑
  store_lookup=0            存儲(chǔ)組采用輪詢模式 0輪詢 1指定 2根據(jù)哪個(gè)空閑選則存儲(chǔ)
  use_storage_id = true     使用定義的stoaged_id
  #vim /etc/fdfs/storage_ids.conf
  #     
    100001   group1  192.168.4.51
    100002   group1  192.168.4.52
  #/etc/init.d/fdfs_tracker start
  #chkconfig fdfs_tracker on
  #netstat -lnptu | grep 22122

  [storage51：52]
  #yum -y install gcc libevent make
  #unzip fastdfs.zip
  #tar zxf FastDFS_v4.06.tar.gz         
  #rpm -ivh libevent-*             
  #cd FastDFS
  #./make.sh
  #./make.sh install
  #cd init.d/
  #cp fdfs_storaged /etc/init.d/
  修改配置文件
  #group_name=group1    定義組名
  #base_path=/data/fastdfs   存儲(chǔ)路徑
  #store_path0=/data/fastdfs
  #tracker_server=192.168.4.50:22122  指定跟蹤器tracker路徑
  #/etc/init.d/fdfs_storaged start
  #chkconfig fdfs_storaged on 
  #netstat -lnptu | grep 23000

  [客戶端254]
  #mkdir /etc/fdfs
  #cp client.conf /etc/fdfs
  #vim etc/fdfs/client.conf
  #base_path=/data/fastdfs
  #tracker_server=192.168.4.50:22122
  scp 192.168.4.50:/usr/local/bin/* /usr/bin
  驗(yàn)證
  #fdfs_upload_file /etc/fdfs/clients.conf a.txt
  group1/M00/00/00/wKgEM1ppWBCAJdssAACwEV-ILDc175.jpg

  使用web查看上傳文件
  [storage51:52]
  #tar zxf fastdfs-nginx-module_v1.16.tar.gz
  #tar zxf nginx-1.7.10.tar.gz 
  #yum -y install pcre-devel openssl-devel
  #cd nginx
  #useradd -s /sbin/nologin nginx
  #./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --add-module=../fastdfs-nginx-module/src/ --with-http_ssl_module
  #cp mod_fastdfs.conf /etc/fdfs/
  修改配置文件
  #vim /etc/fdfs/mod_fastdfs.conf
  tracker_server=192.168.4.50:22122
  group_name=group1
  url_have_group_name = true
  store_path0=/data/fastdfs
  修改nginx配置文件
  #vim /usr/local/nginx/conf/nginx.conf
    server {
        listen 80;
        server_name localhost;
        location / {
            ngx_fastfds_module;
            }
        }
  #/usr/local/nginx/sbin/nginx 
  #/etc/init.d/fdfs_storaged start

  驗(yàn)證
  firefox http:192.168.4.51/group1/M00/00/00/wKgEM1ppWBCAJdssAACwEV-ILDc175.jpg