1. 寫在前面

創(chuàng)新互聯(lián)公司是專業(yè)的河口網(wǎng)站建設(shè)公司，河口接單;提供成都網(wǎng)站制作、做網(wǎng)站,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行河口網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊,希望更多企業(yè)前來合作!

今天要抓取的一個網(wǎng)站叫做微醫(yī)網(wǎng)站，地址為 https://www.guahao.com ，我們將通過python3爬蟲抓取這個網(wǎng)址，然后數(shù)據(jù)存儲到CSV里面，為后面的一些分析類的教程做準(zhǔn)備。本篇文章主要使用的庫為pyppeteer 和 pyquery

首先找到 醫(yī)生列表頁

https://www.guahao.com/expert/all/全國/all/不限/p5 

這個頁面顯示有 75952 條數(shù)據(jù) ，實(shí)際測試中，翻頁到第38頁，數(shù)據(jù)就加載不出來了，目測后臺程序猿沒有把數(shù)據(jù)返回，不過為了學(xué)習(xí)，我們?nèi)塘恕?/p>

2. 頁面URL

https://www.guahao.com/expert/all/全國/all/不限/p1
https://www.guahao.com/expert/all/全國/all/不限/p2
...
https://www.guahao.com/expert/all/全國/all/不限/p38

數(shù)據(jù)總過38頁，量不是很大，咱只需要隨便選擇一個庫抓取就行，這篇博客，我找了一個冷門的庫
pyppeteer 在使用過程中，發(fā)現(xiàn)資料好少，很尷尬。而且官方的文檔寫的也不好，有興趣的可以自行去看看。關(guān)于這個庫的安裝也在下面的網(wǎng)址中。

https://miyakogi.github.io/pyppeteer/index.html

最簡單的使用方法，在官方文檔中也簡單的寫了一下，如下，可以把一個網(wǎng)頁直接保存為一張圖片。

import asyncio
from pyppeteer import launch
async def main():
  browser = await launch() # 運(yùn)行一個無頭的瀏覽器
  page = await browser.newPage() # 打開一個選項卡
  await page.goto('http://www.baidu.com') # 加載一個頁面
  await page.screenshot({'path': 'baidu.png'}) # 把網(wǎng)頁生成截圖
  await browser.close()
asyncio.get_event_loop().run_until_complete(main()) # 異步

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享文章：Python微醫(yī)掛號網(wǎng)醫(yī)生數(shù)據(jù)抓取-創(chuàng)新互聯(lián)
文章出自：http://weahome.cn/article/cdhhoc.html