寫爬蟲都需要些什么呢,

A要爬取的網址難度的大小 (選擇谷歌對要爬取的網址源代碼進行分析)

B借用Python中的模塊urllib與requests 對網址進行請求與訪問
以requests為例:(requests模塊的導入見:https://blog.51cto.com/13747953/2321389)
a 下載圖片

成都創(chuàng)新互聯(lián)是一家集網站建設,南寧企業(yè)網站建設,南寧品牌網站建設,網站定制,南寧網站建設報價,網絡營銷,網絡優(yōu)化,南寧網站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網站。

import requests            

ret=requests.get('http://×××w.xiaohuar.com/d/file/20180724/40d83a6709eca21137dcdd80ee28c31b.jpg')
print(ret,type(ret))
print(ret.status_code)
print(ret.content)
with open(r'E:\text1\爬蟲\text_png\p1.png','wb') as f:
    f.write(ret.content)

b 基本文字信息的獲取

import requests
from urllib import request

# ret=requests.get('http://maoyan.com/board')
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

}
ret=request.Request('http://maoyan.com/board',headers=headers)
resp=request.urlopen(ret)
print(resp,type(resp))
print(resp.read().decode('utf-8'))

這里不用requests 模塊是因為在請求的過程中返回了403的錯誤
猜想可能的原因是:網址的反爬蟲機制發(fā)現(xiàn)了來自pycharm的請求;
所以可以用urllib(Python自帶的模塊)提供的request模塊

結果如下:

C如何從B-b中獲取的文字數(shù)據(jù)中提取出自己想要的數(shù)據(jù)呢
a 分析數(shù)據(jù)的相同點

b 利用正則表達式與re模塊

'
(?:.*?)src="(?P.*?)"(?:.*?)(?P.*?)(?:.*?)'
        '(?P.*?)', re.S)

'
  # 匹配開始的標志
(?:.*?)      # 匹配任意的字符,但用?取消了分組優(yōu)先顯示和貪婪匹配
src="(?P.*?)"    # 要獲取的數(shù)據(jù)優(yōu)先顯示,并?P<名字>命名了
(?:.*?)

(?P.*?)

(?:.*?)
''
(?P.*?)
'
,re.S      # 聲明 . 可以匹配任意的字符
)

倆個實例:
1爬取簡單的文字信息:https://blog.51cto.com/13747953/2321800
2爬取圖片: https://blog.51cto.com/13747953/2321803
(程序猿很無聊多多指教交流)