小編給大家分享一下python如何爬取微信公眾號文章評論，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)公司專注于密云企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,商城系統(tǒng)網(wǎng)站開發(fā)。密云網(wǎng)站建設(shè)公司,為密云等地區(qū)提供建站服務(wù)。全流程定制制作，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)公司專業(yè)和態(tài)度為您提供的服務(wù)

1、獲取Cookie

因為是爬自己微信號文章里面的評論，首先你需要登錄公眾號后臺，登錄后才能看到文章的評論，登錄就會涉及到 cookie，發(fā)起請求時只有帶上 cookie 才能得到正確的數(shù)據(jù)。所以第一步就是把 cookie 信息取到。

打開 Chrome 瀏覽器你會看到發(fā)送請求時會自動把 Cookie 信息發(fā)送給微信，我們就把這段 Cookie 數(shù)據(jù)拷貝出來，用 Python 構(gòu)建一個 Cookie 對象，給 requests 使用。

from http.cookies import SimpleCookie
raw_cookie = "gsScrollPos-5517=; ..中間還省略很多... bizuin=2393828"

cookie = SimpleCookie(raw_cookie)
requests_cookies = dict([(c, cookie[c].value) for c in cookie])

r = requests.get(url, cookies=requests_cookies)

2、構(gòu)造URL

打開任意文章的評論列表，你會發(fā)現(xiàn)它的 URL 結(jié)構(gòu)非常清晰，根據(jù)名字基本能判斷每個參數(shù)的意義，這里比較重要的參數(shù)是 begin，它是作為分頁的起始位置，其實它固定不變就好

url = "https://mp.weixin.qq.com/misc/appmsgcomment?" \
                "action=list_comment&" \
                "mp_version=7&" \
                "type=0&" \
                "comment_id=2881104117&" \ # 被評論的文章ID
                "begin=0&" \  # 分頁參數(shù)
                "count=10&" \ # 每次返回10條評論
                "token=1300595798&" \
                "lang=zh_CN"

3、抓取數(shù)據(jù)

把 Cookie 和 URL 都搞清楚了，就可以把模擬瀏覽器抓取數(shù)據(jù)并進行清洗，開始想著用 BeautifulSoup 來解析網(wǎng)頁，結(jié)果失敗了。

查找了原因，把爬下來的頁面另存為 html 文件，在 html 源代碼文件中找留言里面的關(guān)鍵字，發(fā)現(xiàn)評論并沒有在 div 標(biāo)簽中，而是存在于一段 JS 代碼塊中，看起來像 JSON 數(shù)據(jù)，看來數(shù)據(jù)是在本地用 JavaScript 渲染后顯示的。

于是改用正則表達式，截取需要的數(shù)據(jù)，最終存儲數(shù)據(jù)庫，差不多10代碼搞定。

def main():
   # 普通留言, 精選留言總數(shù)
   normal_count, selected_count = 141, 100
   # 普通留言url
   normal_url = "https://mp.weixin.qq.com/misc/appmsgcomment?"
   dd = dict([(normal_count, selected_url)])

   for k, v in dd.items():
       crawler(k, v)

def crawler(count, url):
   for i in range(0, count, 10):
       r = requests.get(url.format(begin=i), cookies=requests_cookies)
       match = re.search(r'"comment":(\[\{.*\}\])', r.text, re.S)
       if match:
           data = json.loads(match.group(1), encoding="utf-8")
           conn.insert_many(data)
       time.sleep(1)

這是文章Python進階好書推薦，還有送書中的評論詞云：

以上是“python如何爬取微信公眾號文章評論”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！