真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Java高級架構(gòu)之FastDFS分布式文件集群詳解

FastDFS簡介

為臨澤等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及臨澤網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為做網(wǎng)站、網(wǎng)站制作、臨澤網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

FastDFS是一款開源的輕量級分布式文件系統(tǒng)，使用C實現(xiàn)，支持Linux、BSD等unix-like操作系統(tǒng)。值得注意的是，fastdfs并不是通用的文件系統(tǒng)，只能通過專用的API訪問。

fastdfs為互聯(lián)網(wǎng)應(yīng)用量身定做，解決了大容量文件存儲的問題，fastdfs追求高性能和高擴(kuò)展性。fastdfs的主要概念：

tracker-server：跟蹤服務(wù)器。用于跟蹤文件，主要起調(diào)度作用。在內(nèi)存中記錄了所有存儲組和存儲服務(wù)器的狀態(tài)信息，是客戶端和數(shù)據(jù)存儲的主要樞紐。相比GFS更為精簡，因為不記錄文件索引。

storage-server: 存儲服務(wù)器。用于存儲文件。直接使用操作系統(tǒng)的文件系統(tǒng)來管理和組織文件。

group: 組，卷。多個服務(wù)器存在一個組中，在一個組中的服務(wù)器存儲的文件是完全相同的，并且同一個組的服務(wù)器地位是對等的。對于文件的操作可以在任意一個組中的服務(wù)器上進(jìn)行。

metadata: 元數(shù)據(jù)。以鍵值對的方式存儲，用于存儲文件的相關(guān)信息。

Java高級架構(gòu)之FastDFS分布式文件集群詳解

各大存儲系統(tǒng)的對比

話說沒有對比就沒有傷害，fastdfs也不是萬能的，需要根據(jù)業(yè)務(wù)來選擇適合的存儲系統(tǒng)。

存儲系統(tǒng)適合存儲的文件類型文件分布情況系統(tǒng)性能復(fù)雜度FUSE(用戶文件系統(tǒng))POSIX()備份機(jī)制通訊協(xié)議接口社區(qū)情況實現(xiàn)語言
FastDFS4KB至500MB將小文件合并存儲很高簡單不支持不支持組內(nèi)冗余備份HTTP API國內(nèi)用戶C
TFS所有文件小文件合并以塊組織分片-復(fù)雜不支持不支持塊存儲多份,主輔災(zāi)備HTTP API少C++
MFS大于64K分片存儲Master節(jié)點占用內(nèi)存較高-支持支持多點備份,動態(tài)冗余使用FUSE掛載較多Perl
HDFS大文件大文件分片塊存儲-簡單支持支持多副本原生API較多Java
Ceph對象大文件OSD一主多從-復(fù)雜支持支持多副本原生API較少C++
MogileFS海量小圖片-高復(fù)雜支持不支持動態(tài)冗余原生API文檔少Perl
ClusterFS大文件--簡單支持支持--多C

GitHub項目主頁： https://github.com/happyfish200/fastdfs

FastDFS客戶端與服務(wù)器端交互原理

Java高級架構(gòu)之FastDFS分布式文件集群詳解

FastDFS+Nginx整合

架構(gòu)圖

Java高級架構(gòu)之FastDFS分布式文件集群詳解

安裝FastDFS

mkdir /source
cd /source
yum install -y gcc gcc-c++ make cmake wget libevent
wget https://github.com/happyfish200/libfastcommon/archive/V1.0.35.tar.gz
wget https://github.com/happyfish200/fastdfs/archive/V5.10.tar.gz
tar -zxvf V1.0.35.tar.gz
tar -zxvf V5.10.tar.gz
cd libfastcommon-1.0.35
./make.sh
./make.sh install
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
cd ../
cd fastdfs-5.10/
./make.sh
./make.sh install
cd ../
rm -rf libfastcommon-1.0.35
rm -rf fastdfs-5.10
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
mkdir -p /data/fdfs/tracker
mkdir -p /data/fdfs/storage
ln -s /usr/bin/stop.sh /usr/local/bin/stop.sh
ln -s /usr/bin/restart.sh /usr/local/bin/restart.sh

修改配置文件

修改跟蹤器配置文件：

base_path=/data/fdfs/tracker

修改存儲器配置文件：

base_path=/data/fdfs/storage
store_path0=/data/fdfs/storage
tracker_server=192.168.80.3:22122

修改客戶端配置文件：

base_path=/data/fdfs/client
tracker_server=192.168.80.3:22122

啟動

/etc/init.d/fdfs_trackerd start
/etc/init.d/fdfs_storaged start
netstat -tunlap | grep :22122
tcp    0   0 0.0.0.0:22122      0.0.0.0:*        LISTEN   7247/fdfs_trackerd 
tcp    0   0 192.168.80.3:22122   192.168.80.3:39318   ESTABLISHED 7247/fdfs_trackerd 
tcp    0   0 192.168.80.3:39318   192.168.80.3:22122   ESTABLISHED 7444/fdfs_storaged

啟動后要查看狀態(tài), 出現(xiàn) active (exited) 字樣可以嘗試重啟服務(wù)。

測試

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/FastDFS_v5.05.tar.gz
group1/M00/00/00/wKhQA1ysjSGAPjXbAAVFOL7FJU4.tar.gz

文件存儲在：

ll /data/fdfs/storage/data/00/00/wKhQA1ysjSGAPjXbAAVFOL7FJU4.tar.gz

安裝Nginx并配置模塊

# 安裝Nginx需要的pcre（Perl兼容正則表達(dá)式）庫，允許Nginx使用rewrite模塊提供URL重寫功能。
yum install pcre pcre-devel perl-ExtUtils-Embed -y
# 安裝openssl-devel，允許Nginx提供HTTPS服務(wù)。
yum install openssl-devel -y
# 下載軟件包
cd /source
wget http://59.80.44.46/nginx.org/download/nginx-1.14.2.tar.gz
wget http://nchc.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz
# 解壓軟件包
tar xvf nginx-1.14.2.tar.gz
tar xvf fastdfs-nginx-module_v1.16.tar.gz
# 創(chuàng)建必要的軟連接
ln -s /usr/include/fastdfs/ /usr/local/include/fastdfs
ln -s /usr/include/fastcommon/ /usr/local/include/fastcommon
cp FastDFS/conf/http.conf /etc/fdfs/
cp FastDFS/conf/mime.types /etc/fdfs/
cp fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
mkdir -p /data/fdfs/fastdfs-nginx-module

修改配置文件 /etc/fdfs/mod_fastdfs.conf :

connect_timeout=10
base_path=/data/fdfs/fastdfs-nginx-module
# 配置服務(wù)器的地址
tracker_server=192.168.80.3:22122
url_have_group_name = true
store_path0=/data/fdfs/storage
mkdir /applications
mkdir /tmp/nginx
useradd nginx -s /sbin/nologin -M
cd nginx-1.14.2
./configure \
--user=nginx \
--group=nginx \
--prefix=/applications/nginx-1.14.2 \
--with-http_ssl_module \
--with-http_gzip_static_module \
--http-client-body-temp-path=/tmp/nginx/client \
--http-proxy-temp-path=/tmp/nginx/proxy \
--http-fastcgi-temp-path=/tmp/nginx/cgi \
--with-poll_module \
--with-file-aio \
--with-http_realip_module \
--with-http_addition_module \
--with-http_random_index_module \
--with-pcre \
--with-http_stub_status_module \
--with-stream \
--add-module=/source/fastdfs-nginx-module/src
make
make install
ln -s /applications/nginx-1.14.2/ /applications/nginx
chown -R nginx.nginx /applications/nginx
chown -R nginx.nginx /applications/nginx-1.14.2/
chown -R nginx.nginx /tmp/nginx/

修改配置文件 /applications/nginx/conf/nginx.conf , 在http區(qū)塊添加：

server {
    listen    8000;
    server_name media;

    location / {
      root  html;
      index index.html index.htm;
    }

    # 攔截文件請求，轉(zhuǎn)發(fā)到下面的模塊
    location ~/group[0-9] {
      ngx_fastdfs_module;
    }

    error_page  500 502 503 504 /50x.html;
    location = /50x.html {
      root  html;
    }
  }

測試配置文件正確性并啟動：

/applications/nginx/sbin/nginx -t
/applications/nginx/sbin/nginx

刪除臨時文件：

rm -rf FastDFS
rm -rf fastdfs-nginx-module
rm -rf libfastcommon-1.0.35
rm -rf nginx-1.14.2

測試Nginx文件下載功能, 在瀏覽器輸入： http://192.168.80.3:8000/group1/M00/00/00/wKhQA1ysjSGAPjXbAAVFOL7FJU4.tar.gz

一個nginx只能訪問一個storage服務(wù)器的數(shù)據(jù)，所以多個storage服務(wù)器要配置多個nginx，然后將nginx按照請求路徑中的組id(groupid)進(jìn)行路由。

簡單的啟動停止服務(wù)的腳本：

# start-service
# usage: ./start-service
echo "============================================Sync datetime==========================================="
ntpdate time7.aliyun.com
echo "===========================================Getting status==========================================="
/etc/init.d/fdfs_trackerd status
/etc/init.d/fdfs_storaged status
echo "==========================================Starting service=========================================="
/etc/init.d/fdfs_storaged start
/etc/init.d/fdfs_trackerd start
echo "===========================================Getting status==========================================="
/etc/init.d/fdfs_trackerd status
/etc/init.d/fdfs_storaged status
echo "=========================================Testing config file========================================"
/applications/nginx/sbin/nginx -t
echo "=========================================Starting web server========================================"
/applications/nginx/sbin/nginx
echo "=======================================Getting network status======================================="
sleep 5s
netstat -tunlap | grep :22122
netstat -tunlap | grep :8000
# stop-service
# usage: ./stop-service
echo "===========================================Getting status==========================================="
/etc/init.d/fdfs_trackerd status
/etc/init.d/fdfs_storaged status
echo "==========================================Stopping service=========================================="
/etc/init.d/fdfs_storaged stop
/etc/init.d/fdfs_trackerd stop
echo "========================================Stopping web server========================================="
kill `cat /applications/nginx/logs/nginx.pid`
echo "===========================================Getting status==========================================="
/etc/init.d/fdfs_trackerd status
/etc/init.d/fdfs_storaged status
echo "=======================================Getting network status======================================="
sleep 5s
netstat -tunlap | grep :22122
netstat -tunlap | grep :8000

基于Token的防盜鏈實現(xiàn)

FastDFS內(nèi)置使用Token的方式實現(xiàn)防盜鏈，Token是帶有時效性的，Token中包含了文件id、時間戳ts和token。在FastDFS中使用URL帶上ts和token的方式請求資源。在FastDFS中提供了生成Token的算法，擴(kuò)展模塊會對Token進(jìn)行驗證。由于Token的生成和校驗都在服務(wù)器端，因此不會存在安全性問題。鏈接示例：

http://192.168.1.15:8080/group1/M01/01/01/wKgBD01c15nvKU1cAABAOeCdFS466570.c?token=b32cd06a53dea4376e43d71cc882f9cb&ts=1297930137

在 /etc/fdfs/http.conf 中修改：

# 開啟Token校驗
http.anti_steal.check_token=true
# Token的聲明周期為240秒
http.anti_steal.token_ttl=240
# 加密字符串，可以使用 openssl rand -base64 64 生成
http.anti_steal.secret_key=2scPwMPctXhbLVOYB0jyuyQzytOofmFCBIYe65n56PPYVWrntxzLIDbPdvDDLJM8QHhKxSGWTcr+9VdG3yptkw
# Token校驗失敗的時候返回的圖片 
http.anti_steal.token_check_fail=/data/fdfs/error.svg

使用Java客戶端驗證：

將客戶端安裝到本地倉庫：

git clone https://github.com/happyfish200/fastdfs-client-java.git
cd fastdfs-client-java
mvn clean install

使用Maven創(chuàng)建一個普通的項目，在POM文件中添加依賴：


  
    org.csource
    fastdfs-client-java
    1.27-SNAPSHOT

在resources目錄下創(chuàng)建FastDFS配置文件 fastdfs-client.properties :

fastdfs.connect_timeout_in_seconds = 5
fastdfs.network_timeout_in_seconds = 30
fastdfs.charset = UTF-8
fastdfs.http_anti_steal_token = true
fastdfs.http_secret_key = 2scPwMPctXhbLVOYB0jyuyQzytOofmFCBIYe65n56PPYVWrntxzLIDbPdvDDLJM8QHhKxSGWTcr+9VdG3yptkw
fastdfs.http_tracker_http_port = 8080
fastdfs.tracker_servers = 192.168.80.3:22122

創(chuàng)建 com.bluemiaomiao.Demo.java 類文件：

package com.bluemiaomiao;

import org.csource.common.MyException;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.ProtoCommon;
import java.io.IOException;
import java.security.NoSuchAlgorithmException;
import java.util.Properties;

public class Demo {
  public static void main(String[] args) throws IOException, MyException, NoSuchAlgorithmException {
    // 加載配置文件
    Properties prop = new Properties();
    prop.load(Demo.class.getResourceAsStream("/fastdfs-client.properties"));
    ClientGlobal.initByProperties(prop);
    // 顯示初始化配置信息
    System.out.println(ClientGlobal.configInfo());
    // 使用文件上傳工具返回的地址，一般情況下保存在數(shù)據(jù)庫中
    String remoteFileName = "group1/M00/00/00/wKhQA1ysjSGAPjXbAAVFOL7FJU4.tar.gz";
    // 獲取當(dāng)前時間戳
    int ts = (int)(System.currentTimeMillis()/1000);
    // 獲取Token, 傳入的文件ID不要含有分組信息
    String token = ProtoCommon.getToken("M00/00/00/wKhQA1ysjSGAPjXbAAVFOL7FJU4.tar.gz", ts, prop.getProperty("fastdfs.http_secret_key"));
    // 使用瀏覽器訪問返回的URL
    System.out.println("http://192.168.80.3:8000/" + remoteFileName + "?token=" + token + "&ts=" + ts);
  }
}

如果訪問時顯示防盜鏈圖片，可能是測試客戶端與服務(wù)器之間的之間有一定差距，兩個主機(jī)之間不能有分鐘級別的差距，可以使用如下方法同步服務(wù)器：

# 安裝同步時間服務(wù)器的客戶端, Windows系統(tǒng)也需要與該服務(wù)器同步
# 控制面板->時鐘和區(qū)域->設(shè)置日期和時間->Internet時間->更改設(shè)置
yum install ntpdate
ntpdate time7.aliyun.com

整合FastDHT實現(xiàn)數(shù)據(jù)去重

FastDHT是分布式哈希系統(tǒng)（DHT），使用BerkeleyDB做數(shù)據(jù)存儲，使用libevent做網(wǎng)絡(luò)IO處理。依賴于libfastcommon組件。

下載

去Oracle官方網(wǎng)站下載 Berkeley DB 數(shù)據(jù)庫，去Fastdfs的GitHub主頁下載FastDHT的源碼包。由于之前已經(jīng)安裝過linevent和libfastcommon，因此只需要安裝數(shù)據(jù)庫和FastDHT即可。

安裝配置數(shù)據(jù)庫與FastDHT

tar -xvf db-6.2.23.tar.gz
cd db-6.2.23/build_unix/
../dist/configure --prefix=/applications/db-6.2.23
cd ../../
rm -rf db-6.2.23
unzip fastdht-master.zip
cd fastdht-master
vim make.sh

修改第27行代碼：

CFLAGS='-Wall -D_FILE_OFFSET_BITS=64 -D_GNU_SOURCE -I /applications/db-6.2.23/include/ -L /applications/db-6.2.23/lib/'

-I ： 指定數(shù)據(jù)庫提供的頭文件目錄

-L ： 指定數(shù)據(jù)庫提供的庫文件目錄

./make.sh
./make.sh install
cd ../
rm -rf fastdht-master

配置

mkdir /data/fdht

修改 /etc/fdht/fdht_client.conf 內(nèi)容：

base_path=/data/fdht
#include /etc/fdht/fdht_servers.conf

修改 /etc/fdht/fdht_servers.conf 內(nèi)容：

group0 = 192.168.80.3:11411

修改 /etc/fdht/fdhtd.conf 內(nèi)容：

base_path=/data/fdht
#include /etc/fdht/fdht_servers.conf

修改 /etc/fdfs/storage.conf 內(nèi)容：

check_file_duplicate=1
key_namespace=FastDFS
keep_alive=1
#include /etc/fdht/fdht_servers.conf

主要需要包含服務(wù)器端配置文件。

ln -s /applications/db-6.2.23/lib/libdb-6.2.so /usr/lib/libdb-6.2.so
ln -s /applications/db-6.2.23/lib/libdb-6.2.so /usr/lib64/libdb-6.2.so

啟動并測試

fdhtd /etc/fdht/fdhtd.conf

重啟使用：

fdhtd /etc/fdht/fdhtd.conf restart

查看結(jié)果：

netstat -tunlap | grep :11411
tcp    0   0 0.0.0.0:11411      0.0.0.0:*        LISTEN   20605/fdhtd

由于安裝FastDHT的時候關(guān)閉了FastDFS，因此需要啟動FastDFS

./start-service

修改之前的 start-service 腳本, 在啟動tracker和storage服務(wù)之前添加：

fdhtd /etc/fdht/fdhtd.conf

在查看tracker和ngixn網(wǎng)絡(luò)狀態(tài)之前添加：

netstat -tunlap | grep :11411

測試：

fdfs_upload_file /etc/fdfs/client.conf /source/db-6.2.23.tar.gz
group1/M00/00/00/wKhQA1yu2L6APTk-AqQOLABfhaQ.tar.gz
fdfs_upload_file /etc/fdfs/client.conf /source/db-6.2.23.tar.gz
group1/M00/00/00/wKhQA1yu2MKAOmIiAqQOLHUWXfw.tar.gz
ll /data/fdfs/storage/data/00/00/
total 45268
-rw-r--r-- 1 root root 44305964 Apr 11 14:03 wKhQA1yu2L6AM0aiAqQOLKFBFuc.tar.gz
lrwxrwxrwx 1 root root    64 Apr 11 14:03 wKhQA1yu2L6APTk-AqQOLABfhaQ.tar.gz -> /data/fdfs/storage/data/00/00/wKhQA1yu2L6AM0aiAqQOLKFBFuc.tar.gz
lrwxrwxrwx 1 root root    64 Apr 11 14:03 wKhQA1yu2MKAOmIiAqQOLHUWXfw.tar.gz -> /data/fdfs/storage/data/00/00/wKhQA1yu2L6AM0aiAqQOLKFBFuc.tar.gz

自定義 fastdfs-spring-boot-starter

為了快速構(gòu)建SpringBoot項目，我們可以自定義一個場景啟動器來解決。詳細(xì)信息： https://github.com/bluemiaomiao/fastdfs-spring-boot-starter .

下面使用SpringBoot構(gòu)建一個示例項目:

添加依賴：


  com.bluemiaomiao
  fastdfs-spring-boot-starter
  1.0-SNAPSHOT

在主配置類中添加注解：

@EnableFastdfsClient
@SpringBootApplication
public class DemoApplication {

@Autowired
private FastdfsClientService fastdfsClientService;

public static void main(String[] args) {
  SpringApplication.run(DemoApplication.class, args);
}
}

此時將會自動初始化好全局客戶端。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持創(chuàng)新互聯(lián)。


分享名稱：Java高級架構(gòu)之FastDFS分布式文件集群詳解
文章起源：http://weahome.cn/article/jpdjdi.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220（工作日）

18980820575（7×24）

提交需求

返回頂部