1）首先你要明白爬蟲(chóng)怎樣工作。
專(zhuān)業(yè)領(lǐng)域包括成都網(wǎng)站制作、成都網(wǎng)站建設(shè)、商城開(kāi)發(fā)、微信營(yíng)銷(xiāo)、系統(tǒng)平臺(tái)開(kāi)發(fā)， 與其他網(wǎng)站設(shè)計(jì)及系統(tǒng)開(kāi)發(fā)公司不同，創(chuàng)新互聯(lián)公司的整合解決方案結(jié)合了幫做網(wǎng)絡(luò)品牌建設(shè)經(jīng)驗(yàn)和互聯(lián)網(wǎng)整合營(yíng)銷(xiāo)的理念，并將策略和執(zhí)行緊密結(jié)合，為客戶(hù)提供全網(wǎng)互聯(lián)網(wǎng)整合方案。
想象你是一只蜘蛛，現(xiàn)在你被放到了互聯(lián)“網(wǎng)”上。那么，你需要把所有的網(wǎng)頁(yè)都看一遍。怎么辦呢？沒(méi)問(wèn)題呀，你就隨便從某個(gè)地方開(kāi)始，比如說(shuō)人民日?qǐng)?bào)的首頁(yè)，這個(gè)叫initial pages，用$表示吧。
在人民日?qǐng)?bào)的首頁(yè)，你看到那個(gè)頁(yè)面引向的各種鏈接。于是你很開(kāi)心地從爬到了“國(guó)內(nèi)新聞”那個(gè)頁(yè)面。太好了，這樣你就已經(jīng)爬完了倆頁(yè)面（首頁(yè)和國(guó)內(nèi)新聞）！暫且不用管爬下來(lái)的頁(yè)面怎么處理的，你就想象你把這個(gè)頁(yè)面完完整整抄成了個(gè)html放到了你身上。
突然你發(fā)現(xiàn)， 在國(guó)內(nèi)新聞這個(gè)頁(yè)面上，有一個(gè)鏈接鏈回“首頁(yè)”。作為一只聰明的蜘蛛，你肯定知道你不用爬回去的吧，因?yàn)槟阋呀?jīng)看過(guò)了啊。所以，你需要用你的腦子，存下你已經(jīng)看過(guò)的頁(yè)面地址。這樣，每次看到一個(gè)可能需要爬的新鏈接，你就先查查你腦子里是不是已經(jīng)去過(guò)這個(gè)頁(yè)面地址。如果去過(guò)，那就別去了。
好的，理論上如果所有的頁(yè)面可以從initial page達(dá)到的話(huà)，那么可以證明你一定可以爬完所有的網(wǎng)頁(yè)。
那么在python里怎么實(shí)現(xiàn)呢？
很簡(jiǎn)單
import Queue
initial_page = "初始化頁(yè)"
url_queue = Queue.Queue()
seen = set()
seen.insert(initial_page)
url_queue.put(initial_page)
while(True): #一直進(jìn)行直到?？菔癄€
if url_queue.size()0:
current_url = url_queue.get() #拿出隊(duì)例中第一個(gè)的url
store(current_url) #把這個(gè)url代表的網(wǎng)頁(yè)存儲(chǔ)好
for next_url in extract_urls(current_url): #提取把這個(gè)url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break
寫(xiě)得已經(jīng)很偽代碼了。
所有的爬蟲(chóng)的backbone都在這里，下面分析一下為什么爬蟲(chóng)事實(shí)上是個(gè)非常復(fù)雜的東西——搜索引擎公司通常有一整個(gè)團(tuán)隊(duì)來(lái)維護(hù)和開(kāi)發(fā)。
2）效率
如果你直接加工一下上面的代碼直接運(yùn)行的話(huà)，你需要一整年才能爬下整個(gè)豆瓣的內(nèi)容。更別說(shuō)Google這樣的搜索引擎需要爬下全網(wǎng)的內(nèi)容了。
問(wèn)題出在哪呢？需要爬的網(wǎng)頁(yè)實(shí)在太多太多了，而上面的代碼太慢太慢了。設(shè)想全網(wǎng)有N個(gè)網(wǎng)站，那么分析一下判重的復(fù)雜度就是N*log(N)，因?yàn)樗芯W(wǎng)頁(yè)要遍歷一次，而每次判重用set的話(huà)需要log(N)的復(fù)雜度。OK，OK，我知道python的set實(shí)現(xiàn)是hash——不過(guò)這樣還是太慢了，至少內(nèi)存使用效率不高。
通常的判重做法是怎樣呢？Bloom Filter. 簡(jiǎn)單講它仍然是一種hash的方法，但是它的特點(diǎn)是，它可以使用固定的內(nèi)存（不隨url的數(shù)量而增長(zhǎng)）以O(shè)(1)的效率判定url是否已經(jīng)在set中?？上煜聸](méi)有白吃的午餐，它的唯一問(wèn)題在于，如果這個(gè)url不在set中，BF可以100%確定這個(gè)url沒(méi)有看過(guò)。但是如果這個(gè)url在set中，它會(huì)告訴你：這個(gè)url應(yīng)該已經(jīng)出現(xiàn)過(guò)，不過(guò)我有2%的不確定性。注意這里的不確定性在你分配的內(nèi)存足夠大的時(shí)候，可以變得很小很少。一個(gè)簡(jiǎn)單的教程:Bloom Filters by Example
注意到這個(gè)特點(diǎn)，url如果被看過(guò)，那么可能以小概率重復(fù)看一看（沒(méi)關(guān)系，多看看不會(huì)累死）。但是如果沒(méi)被看過(guò)，一定會(huì)被看一下（這個(gè)很重要，不然我們就要漏掉一些網(wǎng)頁(yè)了?。?。 [IMPORTANT: 此段有問(wèn)題，請(qǐng)暫時(shí)略過(guò)]
好，現(xiàn)在已經(jīng)接近處理判重最快的方法了。另外一個(gè)瓶頸——你只有一臺(tái)機(jī)器。不管你的帶寬有多大，只要你的機(jī)器下載網(wǎng)頁(yè)的速度是瓶頸的話(huà)，那么你只有加快這個(gè)速度。用一臺(tái)機(jī)子不夠的話(huà)——用很多臺(tái)吧！當(dāng)然，我們假設(shè)每臺(tái)機(jī)子都已經(jīng)進(jìn)了最大的效率——使用多線(xiàn)程（python的話(huà)，多進(jìn)程吧）。
3）集群化抓取
爬取豆瓣的時(shí)候，我總共用了100多臺(tái)機(jī)器晝夜不停地運(yùn)行了一個(gè)月。想象如果只用一臺(tái)機(jī)子你就得運(yùn)行100個(gè)月了...
那么，假設(shè)你現(xiàn)在有100臺(tái)機(jī)器可以用，怎么用python實(shí)現(xiàn)一個(gè)分布式的爬取算法呢？
我們把這100臺(tái)中的99臺(tái)運(yùn)算能力較小的機(jī)器叫作slave，另外一臺(tái)較大的機(jī)器叫作master，那么回顧上面代碼中的url_queue，如果我們能把這個(gè)queue放到這臺(tái)master機(jī)器上，所有的slave都可以通過(guò)網(wǎng)絡(luò)跟master聯(lián)通，每當(dāng)一個(gè)slave完成下載一個(gè)網(wǎng)頁(yè)，就向master請(qǐng)求一個(gè)新的網(wǎng)頁(yè)來(lái)抓取。而每次slave新抓到一個(gè)網(wǎng)頁(yè)，就把這個(gè)網(wǎng)頁(yè)上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現(xiàn)在master只發(fā)送確定沒(méi)有被訪(fǎng)問(wèn)過(guò)的url給slave。Bloom Filter放到master的內(nèi)存里，而被訪(fǎng)問(wèn)過(guò)的url放到運(yùn)行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪(fǎng)問(wèn)效率見(jiàn):LINSERT – Redis)
考慮如何用python實(shí)現(xiàn)：
在各臺(tái)slave上裝好scrapy，那么各臺(tái)機(jī)子就變成了一臺(tái)有抓取能力的slave，在master上裝好Redis和rq用作分布式隊(duì)列。
代碼于是寫(xiě)成
#slave.py
current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)
store(current_url);
send_to_master(to_send)
#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()
initial_pages = ""
while(True):
if request == 'GET':
if distributed_queue.size()0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)
好的，其實(shí)你能想到，有人已經(jīng)給你寫(xiě)好了你需要的：darkrho/scrapy-redis · GitHub
4）展望及后處理
雖然上面用很多“簡(jiǎn)單”，但是真正要實(shí)現(xiàn)一個(gè)商業(yè)規(guī)?？捎玫呐老x(chóng)并不是一件容易的事。上面的代碼用來(lái)爬一個(gè)整體的網(wǎng)站幾乎沒(méi)有太大的問(wèn)題。
但是如果附加上你需要這些后續(xù)處理，比如
有效地存儲(chǔ)（數(shù)據(jù)庫(kù)應(yīng)該怎樣安排）
有效地判重（這里指網(wǎng)頁(yè)判重，咱可不想把人民日?qǐng)?bào)和抄襲它的大民日?qǐng)?bào)都爬一遍）
有效地信息抽?。ū热缭趺礃映槿〕鼍W(wǎng)頁(yè)上所有的地址抽取出來(lái)，“朝陽(yáng)區(qū)奮進(jìn)路中華道”），搜索引擎通常不需要存儲(chǔ)所有的信息，比如圖片我存來(lái)干嘛...
及時(shí)更新（預(yù)測(cè)這個(gè)網(wǎng)頁(yè)多久會(huì)更新一次）
如你所想，這里每一個(gè)點(diǎn)都可以供很多研究者十?dāng)?shù)年的研究。雖然如此，
“路漫漫其修遠(yuǎn)兮,吾將上下而求索”。
所以，不要問(wèn)怎么入門(mén)，直接上路就好了：）
知乎現(xiàn)在登錄貌似每次都會(huì)有密碼了，修改如下：
import requests
from xtls.util import BeautifulSoup
INDEX_URL = 'xxx
LOGIN_URL = 'xxx'
CAPTCHA_URL = 'xxx'
def gen_time_stamp():
return str(int(time.time())) + '%03d' % random.randint(0, 999)
def login(username, password, oncaptcha):
session = requests.session()
_xsrf = BeautifulSoup(session.get(INDEX_URL).content).find('input', attrs={'name': '_xsrf'})['value']
data = {
'_xsrf': _xsrf,
'email': username,
'password': password,
'remember_me': 'true',
'captcha': oncaptcha(session.get(CAPTCHA_URL + gen_time_stamp()).content)
}
resp = session.post(LOGIN_URL, data)
if 2 != resp.status_code / 100 or u"登陸成功" not in resp.content:
raise Exception('captcha error.')
return session
其中，oncaptcha為一個(gè)回調(diào)函數(shù)（需要自己實(shí)現(xiàn)的），接受的參數(shù)為驗(yàn)證碼的二進(jìn)制內(nèi)容，返回的為驗(yàn)證碼內(nèi)容。
P.S.你可以自己做識(shí)別驗(yàn)證碼，或者手動(dòng)輸入，其中最簡(jiǎn)單的oncaptcha為：
def oncaptcha(data):
with open('captcha file save path', 'wb') as fp:
fp.write(data)
return raw_input('captcha : ')
先檢查是否有API
API是網(wǎng)站官方提供的數(shù)據(jù)接口，如果通過(guò)調(diào)用API采集數(shù)據(jù)，則相當(dāng)于在網(wǎng)站允許的范圍內(nèi)采集，這樣既不會(huì)有道德法律風(fēng)險(xiǎn)，也沒(méi)有網(wǎng)站故意設(shè)置的障礙；不過(guò)調(diào)用API接口的訪(fǎng)問(wèn)則處于網(wǎng)站的控制中，網(wǎng)站可以用來(lái)收費(fèi)，可以用來(lái)限制訪(fǎng)問(wèn)上限等。整體來(lái)看，如果數(shù)據(jù)采集的需求并不是很獨(dú)特，那么有API則應(yīng)優(yōu)先采用調(diào)用API的方式。
數(shù)據(jù)結(jié)構(gòu)分析和數(shù)據(jù)存儲(chǔ)
爬蟲(chóng)需求要十分清晰，具體表現(xiàn)為需要哪些字段，這些字段可以是網(wǎng)頁(yè)上現(xiàn)有的，也可以是根據(jù)網(wǎng)頁(yè)上現(xiàn)有的字段進(jìn)一步計(jì)算的，這些字段如何構(gòu)建表，多張表如何連接等。值得一提的是，確定字段環(huán)節(jié)，不要只看少量的網(wǎng)頁(yè)，因?yàn)閱蝹€(gè)網(wǎng)頁(yè)可以缺少別的同類(lèi)網(wǎng)頁(yè)的字段，這既有可能是由于網(wǎng)站的問(wèn)題，也可能是用戶(hù)行為的差異，只有多觀察一些網(wǎng)頁(yè)才能綜合抽象出具有普適性的關(guān)鍵字段——這并不是幾分鐘看幾個(gè)網(wǎng)頁(yè)就可以決定的簡(jiǎn)單事情，如果遇上了那種臃腫、混亂的網(wǎng)站，可能坑非常多。
對(duì)于大規(guī)模爬蟲(chóng)，除了本身要采集的數(shù)據(jù)外，其他重要的中間數(shù)據(jù)（比如頁(yè)面Id或者url）也建議存儲(chǔ)下來(lái)，這樣可以不必每次重新爬取id。
數(shù)據(jù)庫(kù)并沒(méi)有固定的選擇，本質(zhì)仍是將Python里的數(shù)據(jù)寫(xiě)到庫(kù)里，可以選擇關(guān)系型數(shù)據(jù)庫(kù)MySQL等，也可以選擇非關(guān)系型數(shù)據(jù)庫(kù)MongoDB等；對(duì)于普通的結(jié)構(gòu)化數(shù)據(jù)一般存在關(guān)系型數(shù)據(jù)庫(kù)即可。sqlalchemy是一個(gè)成熟好用的數(shù)據(jù)庫(kù)連接框架，其引擎可與Pandas配套使用，把數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)連接起來(lái)，一氣呵成。
數(shù)據(jù)流分析
對(duì)于要批量爬取的網(wǎng)頁(yè)，往上一層，看它的入口在哪里；這個(gè)是根據(jù)采集范圍來(lái)確定入口，比如若只想爬一個(gè)地區(qū)的數(shù)據(jù)，那從該地區(qū)的主頁(yè)切入即可；但若想爬全國(guó)數(shù)據(jù)，則應(yīng)更往上一層，從全國(guó)的入口切入。一般的網(wǎng)站網(wǎng)頁(yè)都以樹(shù)狀結(jié)構(gòu)為主，找到切入點(diǎn)作為根節(jié)點(diǎn)一層層往里進(jìn)入即可。
值得注意的一點(diǎn)是，一般網(wǎng)站都不會(huì)直接把全量的數(shù)據(jù)做成列表給你一頁(yè)頁(yè)往下翻直到遍歷完數(shù)據(jù)，比如鏈家上面很清楚地寫(xiě)著有24587套二手房，但是它只給100頁(yè)，每頁(yè)30個(gè)，如果直接這么切入只能訪(fǎng)問(wèn)3000個(gè)，遠(yuǎn)遠(yuǎn)低于真實(shí)數(shù)據(jù)量；因此先切片，再整合的數(shù)據(jù)思維可以獲得更大的數(shù)據(jù)量。顯然100頁(yè)是系統(tǒng)設(shè)定，只要超過(guò)300個(gè)就只顯示100頁(yè)，因此可以通過(guò)其他的篩選條件不斷細(xì)分，只到篩選結(jié)果小于等于300頁(yè)就表示該條件下沒(méi)有缺漏；最后把各種條件下的篩選結(jié)果集合在一起，就能夠盡可能地還原真實(shí)數(shù)據(jù)量。
明確了大規(guī)模爬蟲(chóng)的數(shù)據(jù)流動(dòng)機(jī)制，下一步就是針對(duì)單個(gè)網(wǎng)頁(yè)進(jìn)行解析，然后把這個(gè)模式復(fù)制到整體。對(duì)于單個(gè)網(wǎng)頁(yè)，采用抓包工具可以查看它的請(qǐng)求方式，是get還是post，有沒(méi)有提交表單，欲采集的數(shù)據(jù)是寫(xiě)入源代碼里還是通過(guò)AJAX調(diào)用JSON數(shù)據(jù)。
同樣的道理，不能只看一個(gè)頁(yè)面，要觀察多個(gè)頁(yè)面，因?yàn)榕颗老x(chóng)要弄清這些大量頁(yè)面url以及參數(shù)的規(guī)律，以便可以自動(dòng)構(gòu)造；有的網(wǎng)站的url以及關(guān)鍵參數(shù)是加密的，這樣就悲劇了，不能靠著明顯的邏輯直接構(gòu)造，這種情況下要批量爬蟲(chóng)，要么找到它加密的js代碼，在爬蟲(chóng)代碼上加入從明文到密碼的加密過(guò)程；要么采用下文所述的模擬瀏覽器的方式。
數(shù)據(jù)采集
之前用R做爬蟲(chóng)，不要笑，R的確可以做爬蟲(chóng)工作；但在爬蟲(chóng)方面，Python顯然優(yōu)勢(shì)更明顯，受眾更廣，這得益于其成熟的爬蟲(chóng)框架，以及其他的在計(jì)算機(jī)系統(tǒng)上更好的性能。scrapy是一個(gè)成熟的爬蟲(chóng)框架，直接往里套用就好，比較適合新手學(xué)習(xí)；requests是一個(gè)比原生的urllib包更簡(jiǎn)潔強(qiáng)大的包，適合作定制化的爬蟲(chóng)功能。requests主要提供一個(gè)基本訪(fǎng)問(wèn)功能，把網(wǎng)頁(yè)的源代碼給download下來(lái)。一般而言，只要加上跟瀏覽器同樣的Requests Headers參數(shù)，就可以正常訪(fǎng)問(wèn)，status_code為200，并成功得到網(wǎng)頁(yè)源代碼；但是也有某些反爬蟲(chóng)較為嚴(yán)格的網(wǎng)站，這么直接訪(fǎng)問(wèn)會(huì)被禁止；或者說(shuō)status為200也不會(huì)返回正常的網(wǎng)頁(yè)源碼，而是要求寫(xiě)驗(yàn)證碼的js腳本等。
下載到了源碼之后，如果數(shù)據(jù)就在源碼中，這種情況是最簡(jiǎn)單的，這就表示已經(jīng)成功獲取到了數(shù)據(jù)，剩下的無(wú)非就是數(shù)據(jù)提取、清洗、入庫(kù)。但若網(wǎng)頁(yè)上有，然而源代碼里沒(méi)有的，就表示數(shù)據(jù)寫(xiě)在其他地方，一般而言是通過(guò)AJAX異步加載JSON數(shù)據(jù)，從XHR中找即可找到；如果這樣還找不到，那就需要去解析js腳本了。
解析工具
源碼下載后，就是解析數(shù)據(jù)了，常用的有兩種方法，一種是用BeautifulSoup對(duì)樹(shù)狀HTML進(jìn)行解析，另一種是通過(guò)正則表達(dá)式從文本中抽取數(shù)據(jù)。
BeautifulSoup比較簡(jiǎn)單，支持Xpath和CSSSelector兩種途徑，而且像Chrome這類(lèi)瀏覽器一般都已經(jīng)把各個(gè)結(jié)點(diǎn)的Xpath或者CSSSelector標(biāo)記好了，直接復(fù)制即可。以CSSSelector為例，可以選擇tag、id、class等多種方式進(jìn)行定位選擇，如果有id建議選id，因?yàn)楦鶕?jù)HTML語(yǔ)法，一個(gè)id只能綁定一個(gè)標(biāo)簽。
正則表達(dá)式很強(qiáng)大，但構(gòu)造起來(lái)有點(diǎn)復(fù)雜，需要專(zhuān)門(mén)去學(xué)習(xí)。因?yàn)橄螺d下來(lái)的源碼格式就是字符串，所以正則表達(dá)式可以大顯身手，而且處理速度很快。
對(duì)于HTML結(jié)構(gòu)固定，即同樣的字段處tag、id和class名稱(chēng)都相同，采用BeautifulSoup解析是一種簡(jiǎn)單高效的方案，但有的網(wǎng)站混亂，同樣的數(shù)據(jù)在不同頁(yè)面間HTML結(jié)構(gòu)不同，這種情況下BeautifulSoup就不太好使；如果數(shù)據(jù)本身格式固定，則用正則表達(dá)式更方便。比如以下的例子，這兩個(gè)都是深圳地區(qū)某個(gè)地方的經(jīng)度，但一個(gè)頁(yè)面的class是long，一個(gè)頁(yè)面的class是longitude，根據(jù)class來(lái)選擇就沒(méi)辦法同時(shí)滿(mǎn)足2個(gè)，但只要注意到深圳地區(qū)的經(jīng)度都是介于113到114之間的浮點(diǎn)數(shù)，就可以通過(guò)正則表達(dá)式"11[3-4].\d+"來(lái)使兩個(gè)都滿(mǎn)足。
數(shù)據(jù)整理
一般而言，爬下來(lái)的原始數(shù)據(jù)都不是清潔的，所以在入庫(kù)前要先整理；由于大部分都是字符串，所以主要也就是字符串的處理方式了。
字符串自帶的方法可以滿(mǎn)足大部分簡(jiǎn)單的處理需求，比如strip可以去掉首尾不需要的字符或者換行符等，replace可以將指定部分替換成需要的部分，split可以在指定部分分割然后截取一部分。
如果字符串處理的需求太復(fù)雜以致常規(guī)的字符串處理方法不好解決，那就要請(qǐng)出正則表達(dá)式這個(gè)大殺器。
Pandas是Python中常用的數(shù)據(jù)處理模塊，雖然作為一個(gè)從R轉(zhuǎn)過(guò)來(lái)的人一直覺(jué)得這個(gè)模仿R的包實(shí)在是太難用了。Pandas不僅可以進(jìn)行向量化處理、篩選、分組、計(jì)算，還能夠整合成DataFrame，將采集的數(shù)據(jù)整合成一張表，呈現(xiàn)最終的存儲(chǔ)效果。
寫(xiě)入數(shù)據(jù)庫(kù)
如果只是中小規(guī)模的爬蟲(chóng)，可以把最后的爬蟲(chóng)結(jié)果匯合成一張表，最后導(dǎo)出成一張表格以便后續(xù)使用；但對(duì)于表數(shù)量多、單張表容量大的大規(guī)模爬蟲(chóng)，再導(dǎo)出成一堆零散的表就不合適了，肯定還是要放在數(shù)據(jù)庫(kù)中，既方便存儲(chǔ)，也方便進(jìn)一步整理。
寫(xiě)入數(shù)據(jù)庫(kù)有兩種方法，一種是通過(guò)Pandas的DataFrame自帶的to_sql方法，好處是自動(dòng)建表，對(duì)于對(duì)表結(jié)構(gòu)沒(méi)有嚴(yán)格要求的情況下可以采用這種方式，不過(guò)值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否則報(bào)錯(cuò)，雖然這個(gè)認(rèn)為不太合理；另一種是利用數(shù)據(jù)庫(kù)引擎來(lái)執(zhí)行SQL語(yǔ)句，這種情況下要先自己建表，雖然多了一步，但是表結(jié)構(gòu)完全是自己控制之下。Pandas與SQL都可以用來(lái)建表、整理數(shù)據(jù)，結(jié)合起來(lái)使用效率更高。
重慶分公司
重慶分公司
