這期內(nèi)容當中小編將會給大家?guī)碛嘘P(guān)Python爬蟲爬取斗圖吧的源碼怎么編寫，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
創(chuàng)新互聯(lián)建站主營興寧網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營網(wǎng)站建設(shè)方案,app軟件開發(fā),興寧h5重慶小程序開發(fā)搭建,興寧網(wǎng)站營銷推廣歡迎興寧等地區(qū)企業(yè)咨詢
你還在為沒有表情包而在網(wǎng)上四處搜索尋找嗎？今天來利用python來獲得我們想要的表情包。
項目源碼
from pyquery import PyQuery as pqimport requestsfrom redis import StrictRediso=0headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'}def xpan(canshu):try:url = 'https://www.doutula.com/photo/list/?page=' + str(canshu)sp = requests.get(url, headers=headers).textdoc=pq(sp)item=doc('.col-xs-6 img').items()for i in item:cu=i.attr('data-original')#r(cu,'F:/斗圖的/%s.jpg'%u)# u+=1#print('當前已保存%d張'%u)#print(cu)redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')redis.sadd('斗圖網(wǎng)下載圖片的URL', cu)except Exception as e:print('出現(xiàn)錯誤',e.args)a=int(input('請問你需要爬取多少頁呢:'))print('正在爬取鏈接并保存到redis數(shù)據(jù)庫中請稍等........')for i in range(a):xpan(i+1)redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')redis.srem('斗圖網(wǎng)下載圖片的URL','None')for i in redis.smembers('斗圖網(wǎng)下載圖片的URL'):t=str(i,encoding='utf8')#print(t)r=t.split('/')[-1]dizhi='F:/斗圖/'+rreq=requests.get(t)with open(dizhi,'wb')as p:p.write(req.content)print('保存完畢 已保存了%d張'%o)o+=1
上述就是小編為大家分享的Python爬蟲爬取斗圖吧的源碼怎么編寫了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
重慶分公司
重慶分公司
