這篇文章將為大家詳細(xì)講解有關(guān)Scrapy框架怎么在python中使用，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

目前創(chuàng)新互聯(lián)建站已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬主機(jī)、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、江門網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

Python 爬蟲包含兩個(gè)重要的部分：正則表達(dá)式和Scrapy框架的運(yùn)用， 正則表達(dá)式對(duì)于所有語言都是通用的，網(wǎng)絡(luò)上可以找到各種資源。

如下是手繪Scrapy框架原理圖，幫助理解

如下是一段運(yùn)用Scrapy創(chuàng)建的spider：使用了內(nèi)置的crawl模板，以利用Scrapy庫的CrawlSpider。相對(duì)于簡(jiǎn)單的爬取爬蟲來說，Scrapy的CrawlSpider擁有一些網(wǎng)絡(luò)爬取時(shí)可用的特殊屬性和方法：

$ scrapy genspider country_or_district example.python-scrapying.com--template=crawl

運(yùn)行g(shù)enspider命令后，下面的代碼將會(huì)在example/spiders/country_or_district.py中自動(dòng)生成。

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from example.items import CountryOrDistrictItem


class CountryOrDistrictSpider(CrawlSpider):
  name = 'country_or_district'
  allowed_domains = ['example.python-scraping.com']
  start_urls = ['http://example.python-scraping.com/']

  rules = (
    Rule(LinkExtractor(allow=r'/index/', deny=r'/user/'),
       follow=True),
    Rule(LinkExtractor(allow=r'/view/', deny=r'/user/'),
       callback='parse_item'),
  )

  def parse_item(self, response):
    item = CountryOrDistrictItem()
    name_css = 'tr#places_country_or_district__row td.w2p_fw::text'
    item['name'] = response.css(name_css).extract()
    pop_xpath = '//tr[@id="places_population__row"]/td[@class="w2p_fw"]/text()'
    item['population'] = response.xpath(pop_xpath).extract()
    return item

爬蟲類包括的屬性：

• name: 識(shí)別爬蟲的字符串。

• allowed_domains: 可以爬取的域名列表。如果沒有設(shè)置該屬性，則表示可以爬取任何域名。

• start_urls: 爬蟲起始URL列表。

• rules: 該屬性為一個(gè)通過正則表達(dá)式定義的Rule對(duì)象元組，用于告知爬蟲需要跟蹤哪些鏈接以及哪些鏈接包含抓取的有用內(nèi)容。

關(guān)于Scrapy框架怎么在python中使用就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

網(wǎng)站標(biāo)題：Scrapy框架怎么在python中使用-創(chuàng)新互聯(lián)
轉(zhuǎn)載源于：http://weahome.cn/article/ddssjd.html