這篇文章給大家分享的是有關(guān)Splash負(fù)載均衡配置的方法是什么的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司，專注成都網(wǎng)站制作、做網(wǎng)站、外貿(mào)營銷網(wǎng)站建設(shè)、網(wǎng)站營銷推廣，申請域名，虛擬空間，網(wǎng)站運(yùn)營有關(guān)企業(yè)網(wǎng)站制作方案、改版、費(fèi)用等問題，請聯(lián)系創(chuàng)新互聯(lián)。

用Splash做頁面抓取時，如果爬取的量非常大，任務(wù)非常多，用一個Splash服務(wù)來處理的話，未免壓力太大了，此時可以考慮搭建一個負(fù)載均衡器來把壓力分散到各個服務(wù)器上。這相當(dāng)于多臺機(jī)器多個服務(wù)共同參與任務(wù)的處理，可以減小單個Splash服務(wù)的壓力。

1. 配置Splash服務(wù)

要搭建Splash負(fù)載均衡，首先要有多個Splash服務(wù)。假如這里在4臺遠(yuǎn)程主機(jī)的8050端口上都開啟了Splash服務(wù)，它們的服務(wù)地址分別為41.159.27.223:8050、41.159.27.221:8050、41.159.27.9:8050和41.159.117.119:8050，這4個服務(wù)完全一致，都是通過Docker的Splash鏡像開啟的。訪問其中任何一個服務(wù)時，都可以使用Splash服務(wù)。

2. 配置負(fù)載均衡

接下來，可以選用任意一臺帶有公網(wǎng)IP的主機(jī)來配置負(fù)載均衡。首先，在這臺主機(jī)上裝好Nginx，然后修改Nginx的配置文件nginx.conf，添加如下內(nèi)容：

http {
    upstream splash {
        least_conn;
        server 41.159.27.223:8050;
        server 41.159.27.221:8050;
        server 41.159.27.9:8050;
        server 41.159.117.119:8050;
    }
    server {
        listen 8050;
        location / {
            proxy_pass http://splash;
        }
    }
}

這樣我們通過upstream字段定義了一個名字叫作splash的服務(wù)集群配置。其中l(wèi)east_conn代表最少鏈接負(fù)載均衡，它適合處理請求處理時間長短不一造成服務(wù)器過載的情況。

當(dāng)然，我們也可以不指定配置，具體如下：

upstream splash {
    server 41.159.27.223:8050;
    server 41.159.27.221:8050;
    server 41.159.27.9:8050;
    server 41.159.117.119:8050;
}

這樣默認(rèn)以輪詢策略實(shí)現(xiàn)負(fù)載均衡，每個服務(wù)器的壓力相同。此策略適合服務(wù)器配置相當(dāng)、無狀態(tài)且短平快的服務(wù)使用。

另外，我們還可以指定權(quán)重，配置如下：

upstream splash {
    server 41.159.27.223:8050 weight=4;
    server 41.159.27.221:8050 weight=2;
    server 41.159.27.9:8050 weight=2;
    server 41.159.117.119:8050 weight=1;
}

這里weight參數(shù)指定各個服務(wù)的權(quán)重，權(quán)重越高，分配到處理的請求越多。假如不同的服務(wù)器配置差別比較大的話，可以使用此種配置。

最后，還有一種IP散列負(fù)載均衡，配置如下：

upstream splash {
    ip_hash;
    server 41.159.27.223:8050;
    server 41.159.27.221:8050;
    server 41.159.27.9:8050;
    server 41.159.117.119:8050;
}

服務(wù)器根據(jù)請求客戶端的IP地址進(jìn)行散列計(jì)算，確保使用同一個服務(wù)器響應(yīng)請求，這種策略適合有狀態(tài)的服務(wù)，比如用戶登錄后訪問某個頁面的情形。對于Splash來說，不需要應(yīng)用此設(shè)置。

我們可以根據(jù)不同的情形選用不同的配置，配置完成后重啟一下Nginx服務(wù)：

sudo nginx -s reload

這樣直接訪問Nginx所在服務(wù)器的8050端口，即可實(shí)現(xiàn)負(fù)載均衡了。

3. 配置認(rèn)證

現(xiàn)在Splash是可以公開訪問的，如果不想讓其公開訪問，還可以配置認(rèn)證，這仍然借助于Nginx?？梢栽趕erver的location字段中添加auth_basic和auth_basic_user_file字段，具體配置如下：

http {
    upstream splash {
        least_conn;
        server 41.159.27.223:8050;
        server 41.159.27.221:8050;
        server 41.159.27.9:8050;
        server 41.159.117.119:8050;
    }
    server {
        listen 8050;
        location / {
            proxy_pass http://splash;
            auth_basic "Restricted";
            auth_basic_user_file /etc/nginx/conf.d/.htpasswd;
        }
    }
}

這里使用的用戶名和密碼配置放置在/etc/nginx/conf.d目錄下，我們需要使用htpasswd命令創(chuàng)建。例如，創(chuàng)建一個用戶名為admin的文件，相關(guān)命令如下：

htpasswd -c .htpasswd admin

接下來就會提示我們輸入密碼，輸入兩次之后，就會生成密碼文件，其內(nèi)容如下：

cat .htpasswd 
admin:5ZBxQr0rCqwbc

配置完成后，重啟一下Nginx服務(wù)：

sudo nginx -s reload

這樣訪問認(rèn)證就成功配置好了。

4. 測試

最后，我們可以用代碼來測試一下負(fù)載均衡的配置，看看到底是不是每次請求會切換IP。利用http://httpbin.org/get測試即可，實(shí)現(xiàn)代碼如下：

import requests
from urllib.parse import quote
import re
lua = '''
function main(splash, args)
  local treat = require("treat")
  local response = splash:http_get("http://httpbin.org/get")
  return treat.as_string(response.body)
end
'''
url = 'http://splash:8050/execute?lua_source=' + quote(lua)
response = requests.get(url, auth=('admin', 'admin'))
ip = re.search('(\d+\.\d+\.\d+\.\d+)', response.text).group(1)
print(ip)

這里URL中的splash字符串請自行替換成自己的Nginx服務(wù)器IP。這里我修改了Hosts，設(shè)置了splash為Nginx服務(wù)器IP。

多次運(yùn)行代碼之后，可以發(fā)現(xiàn)每次請求的IP都會變化，比如第一次的結(jié)果：

41.159.27.223

第二次的結(jié)果：

41.159.27.9

這就說明負(fù)載均衡已經(jīng)成功實(shí)現(xiàn)了。

感謝各位的閱讀！關(guān)于Splash負(fù)載均衡配置的方法是什么就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！