今天就跟大家聊聊有關(guān)如何引入ItemLoader和Item預(yù)處理函數(shù)，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。
創(chuàng)新互聯(lián)是專業(yè)的清河門網(wǎng)站建設(shè)公司，清河門接單;提供成都網(wǎng)站建設(shè)、做網(wǎng)站,網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行清河門網(wǎng)站開發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!
在項(xiàng)目的item.py文件中創(chuàng)建一個(gè)自定義的loader類，然后讓這個(gè)自定義類繼承ItemLoader類；
class XkdItemLoader(ItemLoader): default_output_processor = TakeFirst()
ItemLoader類的語(yǔ)法：scrapy.loader.ItemLoader（[ item，selector，response，] ** kwargs ），它可以接收一個(gè) Item 實(shí)例來(lái)指定要加載的 Item，然后指定 r來(lái)確定要解析的內(nèi)容esponse 或者 selector； ItemLoader 實(shí)例還提供很多方法，如提供add_css()方法和add_xpath()方法來(lái)通過(guò) css 和xpath 解析賦值，或使用add_value()方法來(lái)單獨(dú)進(jìn)行賦值等。
更多其他的用法大家可以查看： https://doc.scrapy.org/en/latest/topics/loaders.html
首先重寫spider中的parse_analyse方法，導(dǎo)入自定義的loader類，然后需要實(shí)例化這個(gè)loader類，將參數(shù)item和response傳遞到loader類中。 然后可以使用add_css()、add_xpath()、add_value()方法來(lái)提取和收集數(shù)據(jù)保存到loader類實(shí)例化對(duì)象中； 最后當(dāng)所有數(shù)據(jù)被收集起來(lái)之后，調(diào)用ItemLoader.load_item()方法對(duì)結(jié)果進(jìn)行解析并保存到一個(gè)item中，然后返回這個(gè)item；
重慶分公司
重慶分公司
def parse_analyse(self, response):
# 構(gòu)建loader
xkd_itemload = MyItemLoader(item=XkdDribbbleSpiderItem(), response=response)
image_url = response.meta.get('a_image_url')
# 通過(guò)loader定位元素和解析元素
xkd_itemload.add_css('title', "[role='article'] header h2")
# 注意這里傳遞的是一個(gè)列表
xkd_itemload.add_value('image_url', [image_url])
xkd_itemload.add_value('url', response.url)
xkd_itemload.add_value('url_id', get_md5(response.url))
xkd_itemload.add_css('date', 'p span.date::text')
# 解析元素之后返回item
xkd_item = xkd_itemload.load_item()
# 將item返回
yield xkd_item修改item數(shù)據(jù)模型，需要導(dǎo)入from scrapy.loader.processors import MapCompose，可以在scrapy.Field中加入處理函數(shù)。MapCompose是一種處理器，由給定功能的組合構(gòu)成，類似于Compose處理器，與此處理器的不同之處在于內(nèi)部結(jié)果在函數(shù)之間傳遞的方式；
Scrapy還給我們提供了一個(gè)scrapy.loader.processors.TakeFirst()方法，用于返回第一個(gè)非空值（相當(dāng)于extract_first()方法），常用于單值字段的輸出處器，無(wú)參數(shù)；
from scrapy.loader.processors import TakeFirst, MapCompose
from datetime import datetime
def str_to_date(str_date):
str_date = str_date.strip()
date = datetime.strptime(str_date, '%b %d, %Y').date()
return date.strftime('%Y-%m-%d')
class XkdDribbbleSpiderItem(scrapy.Item):
title = scrapy.Field()
image_url = scrapy.Field(
output_processor = MapCompose(lambda value: value)
)
date = scrapy.Field(
input_processor = MapCompose(str_to_date)
)
image_path = scrapy.Field()
url = scrapy.Field()
url_id = scrapy.Field()看完上述內(nèi)容，你們對(duì)如何引入ItemLoader和Item預(yù)處理函數(shù)有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。
