利用python 爬蟲怎么對(duì)京東進(jìn)行爬取？相信很多沒有經(jīng)驗(yàn)的人對(duì)此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個(gè)問題。

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),萬州企業(yè)網(wǎng)站建設(shè),萬州品牌網(wǎng)站建設(shè),網(wǎng)站定制,萬州網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營(yíng)銷,網(wǎng)絡(luò)優(yōu)化,萬州網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長(zhǎng)自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

代碼

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @File : HtmlParser.py
# @Author: 趙路倉
# @Date : 2020/3/17
# @Desc :
# @Contact : 398333404@qq.com
import json

from lxml import etree
import requests
from bs4 import BeautifulSoup


url="https://search.jd.com/Search?keyword=ps4&enc=utf-8&wq=ps4&pvid=cf0158c8664442799c1146a461478c9c"
head={
 'authority': 'search.jd.com',
 'method': 'GET',
 'path': '/s_new.php?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=4&s=84&scrolling=y&log_id=1529828108.22071&tpl=3_M&show_items=7651927,7367120,7056868,7419252,6001239,5934182,4554969,3893501,7421462,6577495,26480543553,7345757,4483120,6176077,6932795,7336429,5963066,5283387,25722468892,7425622,4768461',
 'scheme': 'https',
 'referer': 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%E6%9C%BA&cid2=653&cid3=655&page=3&s=58&click=0',
 'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36',
 'x-requested-with': 'XMLHttpRequest',
}

def page(page):
 print("開始")
 url = "https://search.jd.com/Search?keyword=ps4&enc=utf-8&qrst=1&rt=1&stop=1&vt=1&wq=ps4&page="+page+"&s=181&click=0"
 r=requests.get(url,timeout=3,headers=head)
 r.encoding=r.apparent_encoding
 # print(r.text)
 b=BeautifulSoup(r.text,"html.parser")
 #print(b.prettify())
 _element = etree.HTML(r.text)
 datas = _element.xpath('//li[contains(@class,"gl-item")]')
 print(datas)
 for data in datas:
  p_price = data.xpath('div/div[@class="p-price"]/strong/i/text()')
  p_comment = data.xpath('div/div[5]/strong/a/text()')
  p_name = data.xpath('div/div[@class="p-name p-name-type-2"]/a/em/text()')
  p_href = data.xpath('div/div[@class="p-name p-name-type-2"]/a/@href')
  comment=' '.join(p_comment)
  name = ' '.join(p_name)
  price = ' '.join(p_price)
  href = ' '.join(p_href)
  print(name,price,p_comment,href)

if __name__=="__main__":
 page("5")

爬取結(jié)果

看完上述內(nèi)容，你們掌握利用python 爬蟲怎么對(duì)京東進(jìn)行爬取的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

文章標(biāo)題：利用python爬蟲怎么對(duì)京東進(jìn)行爬取-創(chuàng)新互聯(lián)
網(wǎng)址分享：http://weahome.cn/article/dcphjs.html