爬蟲的起因

成都地區(qū)優(yōu)秀IDC服務(wù)器托管提供商(創(chuàng)新互聯(lián)公司).為客戶提供專業(yè)的綿陽(yáng)電信機(jī)房機(jī)柜租用,四川各地服務(wù)器托管,綿陽(yáng)電信機(jī)房機(jī)柜租用、多線服務(wù)器托管.托管咨詢專線：028-86922220

官方文檔或手冊(cè)雖然可以查閱，但是如果變成紙質(zhì)版的豈不是更容易翻閱與記憶。如果簡(jiǎn)單的復(fù)制粘貼，不知道何時(shí)能夠完成。于是便開始想著將Android的官方手冊(cè)爬下來。

全篇的實(shí)現(xiàn)思路

1. 分析網(wǎng)頁(yè)
2. 學(xué)會(huì)使用BeautifulSoup庫(kù)
3. 爬取并導(dǎo)出
   

參考資料：

* 把廖雪峰的教程轉(zhuǎn)換為PDF電子書
* Requests文檔
* Beautiful Soup文檔

配置

在Ubuntu下使用Pycharm運(yùn)行成功
轉(zhuǎn)PDF需要下載wkhtmltopdf

具體過程

網(wǎng)頁(yè)分析

如下所示的一個(gè)網(wǎng)頁(yè),要做的是獲取該網(wǎng)頁(yè)的正文和標(biāo)題，以及左邊導(dǎo)航條的所有網(wǎng)址

接下來的工作就是找到這些標(biāo)簽嘍…

關(guān)于Requests的使用

詳細(xì)參考文檔，這里只是簡(jiǎn)單的使用Requests獲取html以及使用代理翻墻（網(wǎng)站無法直接訪問，需要VPN）

proxies={
 "http":"http://vpn的IP:port",
 "https":"https://vpn的IP:port",
 }

response=requests.get(url,proxies=proxies)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

新聞標(biāo)題：python爬取網(wǎng)頁(yè)轉(zhuǎn)換為PDF文件-創(chuàng)新互聯(lián)
文章地址：http://weahome.cn/article/dpiijj.html