1.什么是爬蟲和反爬蟲

• 爬蟲 是使用任何技術(shù)手段批量獲取網(wǎng)站信息的一種方式， 反爬蟲 是使用任何技術(shù)手段阻止別人批量獲取自己網(wǎng)站信息的一種方式；

2.User-Agent介紹

• User Agent 中文名為用戶代理，是Http協(xié)議中的一部分，屬于頭域的組成部分，User Agent也簡(jiǎn)稱 UA 。它是一個(gè)特殊字符串頭，是一種向訪問(wèn)網(wǎng)站提供你所使用的瀏覽器類型及版本、操作系統(tǒng)及版本、瀏覽器內(nèi)核、等信息的標(biāo)識(shí)；

  尚志網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)建站！從網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站開發(fā)等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營(yíng)維護(hù)。創(chuàng)新互聯(lián)建站2013年至今到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來(lái)保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)建站。
  

• User-Agent 是 headers 中的一個(gè)屬性，表示當(dāng)前訪問(wèn)服務(wù)器的身份信息，如果同一個(gè)身份過(guò)于頻繁的訪問(wèn)服務(wù)器會(huì)被識(shí)別為機(jī)器身份，遭到反爬的打擊，所以需要頻繁的更改User-Agent信息；

• User-Agent字段解析：瀏覽器標(biāo)識(shí) (操作系統(tǒng)標(biāo)識(shí); 加密等級(jí)標(biāo)識(shí); 瀏覽器語(yǔ)言) 渲染引擎標(biāo)識(shí) 版本信息；

3.使用不同的User-Agent來(lái)規(guī)避反爬策略

• 想要隨機(jī)更改User-Agent，首先我們可以在蜘蛛文件的Spider類中添加一個(gè)header請(qǐng)求頭，很多網(wǎng)站只需要userAgent信息就可以通過(guò)，但是有的網(wǎng)站還需要驗(yàn)證一些其他的信息，所以我們可以在請(qǐng)求頭中添加一些需要用到的字段，比如：

• Accept ：客戶端支持的數(shù)據(jù)類型，用逗號(hào)隔開，是有順序的，分號(hào)前面是主類型，分號(hào)后是子類型；

• Accept-Encoding ：指定瀏覽器可以支持的web服務(wù)器返回內(nèi)容壓縮編碼類型；

• Accept-Language ：瀏覽器可接受的自然語(yǔ)言的類型；

• Connection ：設(shè)置HTTP連接的持久化，通常都是Keep-Alive；

• host ：服務(wù)器的域名或IP地址，如果不是通用端口，還包含該端口號(hào)；

• Referer ：指當(dāng)前請(qǐng)求的URL是在什么地址引用的；

headers = {
        'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'Accept-Encoding':  'gzip, deflate',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection':  'keep-alive',
        'host': 'dribbble.com/stories',
        'Referer': 'https://dribbble.com/',
    }

• 添加完請(qǐng)求頭需要的字段，我們可以在settings.py 文件中手動(dòng)創(chuàng)建一個(gè)User-Agent列表

user_agent_list = [
    "Opera/9.80 (X11; Linux i686; Ubuntu/14.10) Presto/2.12.388 Version/12.16",
    "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14",
    "Mozilla/5.0 (Windows NT 6.0; rv:2.0) Gecko/20100101 Firefox/4.0 Opera 12.14",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0) Opera 12.14",
    "Opera/12.80 (Windows NT 5.1; U; en) Presto/2.10.289 Version/12.02",
    "Opera/9.80 (Windows NT 6.1; U; es-ES) Presto/2.9.181 Version/12.00",
    "Opera/9.80 (Windows NT 5.1; U; zh-sg) Presto/2.9.181 Version/12.00",
    "Opera/12.0(Windows NT 5.2;U;en)Presto/22.9.168 Version/12.00",
    "Opera/12.0(Windows NT 5.1;U;en)Presto/22.9.168 Version/12.00",
    "Mozilla/5.0 (Windows NT 5.1) Gecko/20100101 Firefox/14.0 Opera/12.0",
    "Opera/9.80 (Windows NT 6.1; WOW64; U; pt) Presto/2.10.229 Version/11.62",
    "Opera/9.80 (Windows NT 6.0; U; pl) Presto/2.10.229 Version/11.62",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; de) Presto/2.9.168 Version/11.52",
    "Opera/9.80 (Windows NT 5.1; U; en) Presto/2.9.168 Version/11.51",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; de) Opera 11.51",
    "Opera/9.80 (X11; Linux x86_64; U; fr) Presto/2.9.168 Version/11.50",
    "Opera/9.80 (X11; Linux i686; U; hu) Presto/2.9.168 Version/11.50",
    "Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11",
    "Opera/9.80 (X11; Linux i686; U; es-ES) Presto/2.8.131 Version/11.11",
    "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/5.0 Opera 11.11",
    "Opera/9.80 (X11; Linux x86_64; U; bg) Presto/2.8.131 Version/11.10",
    "Opera/9.80 (Windows NT 6.0; U; en) Presto/2.8.99 Version/11.10",
    "Opera/9.80 (Windows NT 5.1; U; zh-tw) Presto/2.8.131 Version/11.10",
    "Opera/9.80 (Windows NT 6.1; Opera Tablet/15165; U; en) Presto/2.8.149 Version/11.1",
    "Opera/9.80 (X11; Linux x86_64; U; Ubuntu/10.10 (maverick); pl) Presto/2.7.62 Version/11.01",
]

• 然后在項(xiàng)目中創(chuàng)建一個(gè)utils.py文件，在這個(gè)文件中自定義一個(gè)隨機(jī)函數(shù)

import random
def get_randam_int(lst):
    return random.randint(0, len(lst)-1)

• 最后修改蜘蛛文件中的parse()方法，導(dǎo)入相關(guān)模塊，調(diào)用自定義的隨機(jī)函數(shù)生成隨機(jī)User-gent添加到headers請(qǐng)求頭中；

    def parse(self, response):
        headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
            'Accept-Encoding': 'gzip, deflate',
            'Accept-Language': 'zh-CN,zh;q=0.9',
            'Connection': 'keep-alive',
            'host': 'dribbble.com',
            'Referer': 'https://dribbble.com/',
        }
        random_index = get_randam_int(user_agent_list)
        random_agent = user_agent_list[random_index]
        headers['User-Agent'] = random_agent
        a_nodes = response.css('header div.teaser a')
        for a_node in a_nodes:
            # print(a_node)
            a_url = a_node.css('::attr(href)').extract()[0]
            a_image_url = a_node.css('img::attr(src)').extract()[0]
            yield Request(headers=headers,url=parse.urljoin(response.url, a_url), callback=self.parse_analyse, meta={'a_image_url': a_image_url})

4.也可以在中間件中設(shè)置User Agent

5.調(diào)試工具

• 打開你需要爬蟲的網(wǎng)頁(yè)；

• 按鍵盤的F12或手動(dòng)去瀏覽器右上角的“更多工具”選項(xiàng)選擇開發(fā)者工具；

• 按鍵盤的F5刷新網(wǎng)頁(yè)；

• 選擇Network中的Doc；

• 點(diǎn)擊Headers，就可以在最末尾查看Request Headers的User-Agent字段，也可以復(fù)制使用User-Agent字段；

參考： https://www.9xkd.com/user/plan-view.html?id=1782598054