目標(biāo)：獲取淘寶搜索頁(yè)面的信息，提取其中商品名稱和價(jià)格
理解：淘寶的搜索接口
創(chuàng)新互聯(lián)主要從事網(wǎng)站設(shè)計(jì)制作、網(wǎng)站制作、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)尉氏,10余年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來(lái)電咨詢建站服務(wù):028-86922220
正則表達(dá)式的書寫
直接爬取cookie值過(guò)期，輸出結(jié)果為空，所以需要header
解決：在所需爬取頁(yè)面中，按F12， 點(diǎn)擊network，刷新頁(yè)面， 點(diǎn)擊出現(xiàn)的search?q=，向下翻可以看見(jiàn)cookie與user-agent
頁(yè)面間距值的查找
重慶分公司
重慶分公司
# =============================================
# --*-- coding: utf-8 --*--
# @Time : 2021-02-14
# @Author : Oraer
# @CSDN : https://blog.csdn.net/Oraer
# @FileName: 淘寶商品比價(jià)定向爬蟲.py
# @Software: PyCharm
# =============================================
import re
import requests
def getHTMLText(url, header):
try:
r = requests.get(url, headers=header, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parsePage(ilt, html):
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html) # 價(jià)格
tlt = re.findall(r'\"raw_title\"\:\".*?\"', html) # 商品名稱
for i in range(len(plt)):
price = eval(plt[i].split(':')[1]) # 將價(jià)格從字符串中分開
title = eval(tlt[i].split(':')[1]) # eval()
ilt.append([price, title]) # 將每一對(duì)價(jià)格和商品名稱 添加進(jìn)列表ilt
except:
print("...")
def printGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}" # 表頭
print(tplt.format("序號(hào)", "價(jià)格", "商品名稱"))
count = 0
for g in ilt:
count = count + 1
print(tplt.format(count, g[0], g[1]))
def main():
goods = '華為' # 爬取商品
depth = 2 # 爬取深度
start_url = 'https://s.taobao.com/search?q=' + goods
header = {
"Cookie": 'thw=cn; cna=l4qWGUADnlsCAdpNONov0COS; sgcookie=E100amQ%2FAqzHrAWNxy6h4p2Pjb8E4ps5AMe5dY7LTxvY5u78KCAW52HbJyHBByU7qNOtGW%2BIgHtGXv6vpAL71HifU1yFtej6bQezPELhj7XDCOU%3D; tracknick=tb; _cc_=UtASsssmfA%3D%3D; enc=IgiMy3EBqFA9uaISLYfat5cWOuCoWLTHbC8TLE9Rn5v5Ev%2Bgjsi10obFxjMaKoCYmDwApXjgWF4ni9XWrwe%2FNXGKL69AShbXmuWlLvXFM80%3D; hng=CN%7Czh-CN%7CCNY%7C156; miid=; _m_h5_tk=8f22dd7a5ead13c500f93_; _m_h5_tk_enc=497b6b19efc8a329b36db37dca; xlly_s=1; alitrackid=www.taobao.com; lastalitrackid=www.taobao.com; cookie2=1f09b4a01bff2126f0ab78b39ba; t=c81afa8b8ce9138e49e7735d8b; _tb_token_=faae5d4ef43f4; JSESSIONID=90DC4AD7DF3EEAC9AB890CC322F; tfstk=ceJdBQbK7V0nOOs90BhMNv9s3LJdZIZdrk_8ecovmfY7JayRi8vDHrKoOg7VJcC..; l=eBMZ8HgggLfBS9DBBOfZlurza77O9IRbouPzaNbMiOCPOz5e5pnNW6caISYwCnGVHsK2R3uqBzNwBf8GlyCq0-Y3L3k_J_VsndC..; isg=BGBg3Ct1FqnH86moFMsBh4k3MW4yaUQzqWf6HtpxEXsO1QH_gnphw2GnaX3V4_wL',
"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.'
} # 發(fā)送Headers的請(qǐng)求 且 需要cookie信息
infoList = [] # 商品名稱和價(jià)格
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i) # 對(duì)爬取頁(yè)面連接 每頁(yè)間距44
html = getHTMLText(url, header) # 獲取頁(yè)面文本信息
parsePage(infoList, html) # 把商品名稱 價(jià)格 提取到infoList
except:
continue
printGoodsList(infoList) # 打印爬取結(jié)果
if __name__ == '__main__':
main()
序號(hào) 價(jià)格 商品名稱
1 6699.00 華為MateBook14s 512G銳炬顯卡14.2英寸觸控屏智慧性能輕薄本
2 .00 華為折疊屏手機(jī) Mate X2 折疊手機(jī) 華為x2 華為5G手機(jī)
3 888.00 Huawei/華為 暢享20 Pro官方正品旗艦手機(jī)
4 2379.00 順豐當(dāng)天發(fā)+可減400 HONOR/榮耀60 5G手機(jī)官方旗艦店官網(wǎng)全網(wǎng)通新款正品智能曲面50pro非華為手機(jī)榮耀60pro
5 2799.00 24期免息 送碎屏寶 Huawei/華為nova 9手機(jī) 華為手機(jī) 華為nova9 華為nova9手機(jī) 華為nova9pro 華為官方旗艦店
6 4499.00 華為HUAWEI MatePad Pro 12.6英寸鴻蒙HarmonyOS系統(tǒng)OLED屏幕平板電腦學(xué)習(xí)8GB12GB內(nèi)存
7 .00 當(dāng)天發(fā)【贈(zèng)碎屏保24期免息】華為/HUAWEI Mate 40 RS 5G手機(jī)官方旗艦店正品保時(shí)捷版新品Pro官網(wǎng)典藏版
8 .00 24期免息【當(dāng)天發(fā)】HUAWEI/華為 Mate X2 5G手機(jī)官方正品官網(wǎng)新款旗艦店mate30e折疊屏matex2典藏版PU素皮
9 2099.00 HUAWEI/華為nova 8 SE華為手機(jī)大屏4G全網(wǎng)通6400萬(wàn)高清四攝66W超級(jí)快充OLED華為官方旗艦店
10 5188.00 24期免息花唄分期付款0首付 HUAWEI/華為Mate 40E 5G智能手機(jī)官方旗艦店正品麒麟旗艦芯片曲面屏新款mate40e
11 2099.00 送碎屏寶【優(yōu)惠200元】Huawei/華為Nova8 SE 官方旗艦店官網(wǎng)正品新款全網(wǎng)通手機(jī)直降66W快充學(xué)生游戲大屏華為
12 1299.00 vivo WATCH 2新品獨(dú)立通訊超長(zhǎng)續(xù)航智能運(yùn)動(dòng)藍(lán)牙健康手表官方旗艦正品防水兼容華為
13 2699.00 可減150元 花唄24期分期免息 HONOR/榮耀60 Pro 手機(jī)5G官方旗艦店官網(wǎng)新款正品龔俊同款50pro非華為榮耀60pro
14 .00 當(dāng)天發(fā)【24期免息/可減1200】HUAWEI/華為P50 Pocket寶盒折疊手機(jī)官方旗艦店正品p50pro鴻蒙新款折疊屏定制版
15 1379.00 可減160元+順豐當(dāng)天發(fā) honor/榮耀X30i 5G手機(jī)榮耀官方旗艦店官網(wǎng)新品上市正品榮耀x20智能非華為新榮耀x30i
16 2799.00 當(dāng)天發(fā)【24期免息送碎屏寶】Huawei/華為nova 9手機(jī)官方旗艦店正品nova9pro曲面屏7鴻蒙官網(wǎng)新款p50系統(tǒng)nova8
17 2099.00 Huawei/華為nova 8 SE4G手機(jī)全網(wǎng)通正品學(xué)生拍照游戲手機(jī)nova8se
18 2499.00 Huawei/華為MatePad 11平板電腦10.95英寸matepad鴻蒙辦公學(xué)習(xí)
19 1488.00 Huawei/華為手表WATCH GT3/GT典藏版運(yùn)動(dòng)智能gt3血氧監(jiān)測(cè)藍(lán)牙通話
20 6188.00 Huawei/華為P50手機(jī)4G全網(wǎng)通官方旗艦店正品搭載鴻蒙p50智能手機(jī)
21 3499.00 Huawei/華為nova9pro 4G手機(jī)驍龍鴻蒙HarmonyOS新品智能Nova9Pro
22 2999.00 【移動(dòng)用戶專享】HONOR/榮耀60 5G手機(jī)官方旗艦店官網(wǎng)全網(wǎng)通新款正品智能曲面50pro非華為手機(jī)榮耀60pro
23 6199.00 【24期免息 領(lǐng)劵88劵省100元】Huawei/華為 Mate 40 pro 5G手機(jī)正品mate40pro新品mate40pro手機(jī)直降mate40
24 2599.00 【24期免息下單減150 】華為平板MatePad11平板電腦二合一10.95英寸2021新款pad全網(wǎng)通話pro學(xué)生平板游戲辦公
25 4649.00 【M40pro+黑閃送】Huawei/華為 Mate 40 Pro+ MATE40 pro mate40
26 3799.00 【咨詢減600】華為MatePadPro平板電腦10.8英寸2021新款pad二合一辦公學(xué)生ipad pro官方旗艦店正品matepad11
27 3799.00 【咨詢減600】華為平板MatePadPro 10.8寸2021新款pad平板電腦二合一Pro學(xué)生辦公iPad官方旗艦正品matepad11
28 2899.00 華為Matebook14/13 i7輕薄榮耀銳龍觸屏i5學(xué)生游戲新款筆記本電腦
29 2780.00 華為HUAWEI Huawei Mate30Pro 5G官方正品旗艦手機(jī)mate30原廠封裝
30 3288.00 分期免息Huawei/華為 p40 pro 5G新款官方旗艦豪禮 P40pro+手機(jī)
31 5999.00 新品Huawei/華為 P50 Pro手機(jī)官方旗艦店官網(wǎng)正品華為P50鴻蒙系統(tǒng)
32 2889.00 華為Matebook13/14s新品i5/7銳龍版學(xué)生辦公超薄全面屏筆記本電腦
33 2599.00 【咨詢領(lǐng)大額優(yōu)惠！】華為手表Watch 3 pro智能eSIM獨(dú)立通話心率血糖血氧檢測(cè)男女運(yùn)動(dòng)手環(huán)官方旗艦正品鴻蒙
34 1899.00 當(dāng)天發(fā)貨【24期分期】HONOR/榮耀50 手機(jī)系列v50新款5G十直降pro正品SE曲屏40華為手機(jī)官方旗艦店官網(wǎng)全網(wǎng)通
35 228.00 【2022新款】華強(qiáng)北s7手表可接打電話DT7MAX智能PD7MAX+藍(lán)牙測(cè)心率血壓運(yùn)動(dòng)商務(wù)DT7proMAX NFC適用蘋果華為
36 2599.00 華為手表Watch 3 pro智能esim獨(dú)立通電話男女藍(lán)牙運(yùn)動(dòng)手環(huán)心率血氧檢測(cè)官方旗艦正品現(xiàn)貨鴻蒙[966]
37 1988.00 HUAWEI Huawei Mate 30 Pro 5G麒麟990 曲面屏E 徠卡40相機(jī)5G手機(jī)
38 6499.00 Huawei/華為MateBook 14十一代I5學(xué)生輕薄辦公商務(wù)筆記本2021款
39 5258.00 新品Huawei/華為 Mate 40 5G手機(jī) mate40PRO+ 保時(shí)捷設(shè)計(jì)mate40e
40 1299.00 【順豐當(dāng)天發(fā)+送榮耀耳機(jī)】HONOR/榮耀X20 5G手機(jī)華為手機(jī)官方旗艦店官網(wǎng)x20se老人學(xué)生千元智能手機(jī)暢玩20se
41 2628.00 HUAWEI Mate30 mate30pro 5G全網(wǎng)通直屏曲屏防水華為官方正品手機(jī)
42 898.00 【順豐當(dāng)天發(fā)+送碎屏?！縃UAWEI/華為暢享20 SE手機(jī)官方旗艦正品店官網(wǎng)暢享20se直降新款華為學(xué)生游戲手機(jī)
43 1528.00 Huawei/華為 nova 7 5G全網(wǎng)通麒麟985官方正品曲面屏nova7pro手機(jī)
44 917.00 honor 榮耀 榮耀9x 原裝正品升降攝像頭4G智能學(xué)生華為手機(jī)包郵
45 699.00 華為HUAWEI 暢享9 PLUS暢想9S正品10s老人智能手機(jī)官方旗艦店官網(wǎng)
46 3199.00 現(xiàn)貨速發(fā)Huawei/華為 p40 pro 5G手機(jī)P40官方旗艦全面屏P40新款
47 1899.00 官網(wǎng)honor/榮耀 榮耀60 Pro手機(jī)5G官方旗艦店華為榮耀60驍龍778G+
48 2504.00 【咨詢更優(yōu)惠】華為平板MatePad11新款平板電腦10.95英寸HUAWEI鴻蒙學(xué)習(xí)辦公繪畫2網(wǎng)課Pro學(xué)生全面屏ipad官方
49 2504.00 【咨詢更優(yōu)惠】華為平板MatePad11新款平板電腦10.95英寸HUAWEI鴻蒙學(xué)習(xí)辦公繪畫2網(wǎng)課Pro學(xué)生全面屏ipad官方
50 2599.00 新款Huawei/華為 NOVA 9手機(jī)官方旗艦店官網(wǎng)正品鴻蒙Hi Nova9Pro
51 .00 新品華為Mate X2典藏折疊屏Huawei/華為 Mate X2代5G麒麟9000旗艦
52 8999.00 新品Huawei/華為 P50 pocket折疊屏麒麟9000 華為p50寶盒折疊手機(jī)
53 1388.00 【太空人表盤!】華為手表Watch GT2運(yùn)動(dòng)智能電話手表3pro藍(lán)牙通話液晶商務(wù)男女手環(huán)血氧官方正品旗艦現(xiàn)貨46mm
54 3199.00 Huawei/華為 p40 pro 鴻蒙系統(tǒng)官方旗艦手機(jī)5G全網(wǎng)通華為p40新款
55 2383.00 現(xiàn)貨 Huawei/華為 nova 9官方正品旗艦店新品nova9 Pro驍龍手機(jī)
56 1999.00 【送禮】華為平板MatePad10.4英寸平板電腦2021鴻蒙二合一學(xué)生學(xué)習(xí)專用11官方旗艦10新款全網(wǎng)通pro全面屏ipad
57 1899.00 【現(xiàn)貨速發(fā)】華為平板MatePad平板電腦10.4英寸2021新款鴻蒙OS教育ipad11二合一手機(jī)全網(wǎng)通話學(xué)生Pro官方旗艦
58 5988.00 24期免息【送碎屏險(xiǎn)當(dāng)天發(fā)貨】Huawei/華為P50Pro手機(jī)全網(wǎng)通 華為p50寶盒 華為p50 pro 華為官方旗艦店官網(wǎng)
59 7738.00 【現(xiàn)貨發(fā)】Huawei/華為Mate 40 Pro 5G手機(jī)官方旗艦店mate40pro官網(wǎng)P50正品40e 華為mate40
60 5499.00 華為/HUAWEI MateBook 13 11代酷睿8GB/16GB+512GB銳炬顯卡筆記本電腦2K觸控護(hù)眼輕薄辦公全面屏wifi 6
61 6499.00 華為筆記本電腦HUAWEI MateBook 13s 第11代intel酷睿處理器 16GB+512GB銳炬顯卡13.4英寸2.5K性能輕薄本
62 2699.00 順豐速發(fā)送碎屏寶新品上市Huawei/華為nova 9手機(jī)官方旗艦店官網(wǎng)正品新款nova9pro系列直降120Hz鴻蒙nova8
63 2699.00 當(dāng)天發(fā)【24期免息】Huawei/華為nova 9手機(jī)新款官方nova8pro旗艦店nova8se系列5G鴻蒙p官網(wǎng)直降40正品
64 2799.00 順豐速發(fā)5G新品送碎屏寶Huawei/華為nova 8 Pro手機(jī)官方旗艦店正品曲面屏新款nove8直降9官網(wǎng)nova8系列pro
65 2469.00 【可減350元+花唄24期分期】HONOR/榮耀60 5G手機(jī)官方旗艦店官網(wǎng)正品新款榮耀50系列曲面屏非華為榮耀60pro
66 6688.00 當(dāng)天發(fā)可減720元[24期免息]Huawei/華為 P50 Pro手機(jī)官方旗艦官網(wǎng)p40pro新款5g直降典藏版寶盒pocket正品
67 1319.00 可減70元+順豐當(dāng)天發(fā) HONOR/榮耀X30 5G手機(jī)官方旗艦店官網(wǎng)正品新款x30i智能學(xué)生非華為榮耀x30手機(jī)max 30i
68 1488.00 當(dāng)天發(fā)【24期分期送禮】華為手表Watch GT3智能電話手表通心率血氧監(jiān)測(cè)男女運(yùn)動(dòng)藍(lán)牙手環(huán)2p官方旗艦正品46mm
69 5088.00 當(dāng)天發(fā)【24期免息可減750】Huawei/華為Mate 40 pro 5G手機(jī)官方旗艦店正品mate50鴻蒙40e官網(wǎng)直降p50 60 M40
70 6099.00 HUAWEI/華為Mate 40 Pro 4G手機(jī)智能系統(tǒng)mate40pro 4g曲面屏鴻蒙
71 2599.00 華為手表Watch3/Pro智能esim獨(dú)立通話電話運(yùn)動(dòng)男女藍(lán)牙watch3/pro
72 999.00 Huawei/華為暢享20E手機(jī)4G全網(wǎng)通新品20e官方4g正品老人學(xué)生暢想
73 .00 Huawei/華為P50 Pocket新款寶盒折疊屏手機(jī)鴻蒙系統(tǒng)官方自營(yíng)店p50
74 2988.00 華為血壓手表WATCH D運(yùn)動(dòng)智能腕部心電記錄儀旗艦手環(huán)官方watch d
75 6399.00 官方正品Huawei/華為Mate40 pro+全網(wǎng)通5G手機(jī)mate40秋日夏日胡楊
76 3738.00 官方原裝Huawei/華為P40旗艦5GP40pro麒麟990全網(wǎng)通手機(jī)正品現(xiàn)貨
77 2499.00 華為MatePad 11平板電腦10.95英寸2021新款HarmonyOS鴻蒙120Hz高刷新率pad學(xué)習(xí)辦公游戲二合一官方旗艦店ipad
78 1569.00 華為HUAWEI HUAWEI P30 PRO手機(jī)曲面屏P30官方正品鴻蒙手機(jī)P40
79 1388.00 Huawei/華為 Mate 20 Pro官方原裝正品智能手機(jī)華為手機(jī)Mate20
80 2699.00 華為筆記本電腦Matebook13/D14輕薄便捷學(xué)生手提辦公2022新款榮耀
81 9299.00 現(xiàn)貨順豐包郵Huawei/華為 P50 Pocket折疊屏手機(jī)P50寶盒P50pocket
82 369.00 【官方正品】華為手機(jī)通用學(xué)生電話手表初高中生專用男女孩插卡4G全網(wǎng)通視頻通話兒童智能手表防水定位多功能
83 .00 mate X2典藏版Huawei/華為 Mate X2麒麟9000官方旗艦5G二代折疊屏
84 2988.00 華為手表 WATCHD華為腕部心電血壓記錄儀華為watch d華為手表智能
85 2318.00 Huawei/華為 華為MatePad11平板電腦鴻蒙系統(tǒng)2021款學(xué)生學(xué)習(xí)專用
86 5509.00 【正常發(fā)貨】Huawei/華為 MateBook E 2022款 筆記本電腦平板2合1
87 4448.00 現(xiàn)貨Huawei/華為 P50 Pro手機(jī)官方正品P50Pocket折疊屏4G麒麟9000
88 1278.00 現(xiàn)貨 honor/榮耀 榮耀X30 5G手機(jī)榮耀官方旗艦店正品智能華為X30i
89 2099.00 分期免息/送豪華禮! Huawei/Nova8Pro 8+256G 6.72曲面屏快充5g為手機(jī)官方正品旗艦手機(jī)店官網(wǎng)正品50pro 9
90 1299.00 當(dāng)天發(fā)!送豪華禮 Huawei/華為暢享20Pro 8+128G 6.5英寸4800W像素 5g華為手機(jī)官方旗艦手機(jī)店官網(wǎng)正品優(yōu)暢享
91 1899.00 【咨詢送禮】華為平板MatePad平板電腦10.4英寸2021新款鴻蒙教育11學(xué)習(xí)全面屏全網(wǎng)通Huawei手機(jī)ipad二合一Pro
92 855.00 順豐速發(fā)+送碎屏險(xiǎn) HONOR/榮耀暢玩20 手機(jī)官網(wǎng)旗艦店暢享20新款學(xué)生老人千元機(jī)榮耀20Pro智能非華為手機(jī)
進(jìn)程已結(jié)束，退出代碼為 0
