本篇內(nèi)容介紹了“Python如何爬取微信公眾號文章”的有關(guān)知識，在實(shí)際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！
創(chuàng)新互聯(lián)建站專注于企業(yè)成都全網(wǎng)營銷、網(wǎng)站重做改版、夏河網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5、成都做商城網(wǎng)站、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為夏河等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。
為了實(shí)現(xiàn)該爬蟲我們需要用到如下工具
Chrome瀏覽器
Python 3 語法知識
Python的Requests庫
此外，這個爬取程序利用的是微信公眾號后臺編輯素材界面。原理是，當(dāng)我們在插入超鏈接時，微信會調(diào)用專門的API（見下圖），以獲取指定公眾號的文章列表。因此，我們還需要有一個公眾號。
我們需要登錄微信公眾號，點(diǎn)擊素材管理，點(diǎn)擊新建圖文消息，然后點(diǎn)擊上方的超鏈接。
接著，按F12，打開Chrome的開發(fā)者工具，選擇Network
此時在之前的超鏈接界面中，點(diǎn)擊「選擇其他公眾號」，輸入你需要爬取的公眾號（例如中國移動）
此時之前的Network就會刷新出一些鏈接，其中以"appmsg"開頭的便是我們需要分析的內(nèi)容
我們解析請求的URL
https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin=0&count=5&fakeid=MzI1MjU5MjMzNA==&type=9&query=&token=143406284&lang=zh_CN&f=json&ajax=1
它分為三個部分
https://mp.weixin.qq.com/cgi-bin/appmsg: 請求的基礎(chǔ)部分
?action=list_ex: 常用于動態(tài)網(wǎng)站，實(shí)現(xiàn)不同的參數(shù)值而生成不同的頁面或者返回不同的結(jié)果
&begin=0&count=5&fakeid: 用于設(shè)置?里的參數(shù)，即begin=0, count=5
通過不斷的瀏覽下一頁，我們發(fā)現(xiàn)每次只有begin會發(fā)生變動，每次增加5，也就是count的值。
接著，我們通過Python來獲取同樣的資源，但直接運(yùn)行如下代碼是無法獲取資源的
重慶分公司
重慶分公司
import requests
url = "https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin=0&count=5&fakeid=MzI1MjU5MjMzNA==&type=9&query=&token=1957521839&lang=zh_CN&f=json&ajax=1"
requests.get(url).json()
# {'base_resp': {'ret': 200003, 'err_msg': 'invalid session'}}我們之所以能在瀏覽器上獲取資源，是因為我們登錄了微信公眾號后端。而Python并沒有我們的登錄信息，所以請求是無效的。我們需要在requests中設(shè)置headers參數(shù)，在其中傳入Cookie和User-Agent，來模擬登陸
由于每次頭信息內(nèi)容都會變動，因此我將這些內(nèi)容放入在單獨(dú)的文件中，即"wechat.yaml"，信息如下
cookie: ua_id=wuzWM9FKE14... user_agent: Mozilla/5.0...
之后只需要讀取即可
# 讀取cookie和user_agent
import yaml
with open("wechat.yaml", "r") as file:
file_data = file.read()
config = yaml.safe_load(file_data)
headers = {
"Cookie": config['cookie'],
"User-Agent": config['user_agent']
}
requests.get(url, headers=headers, verify=False).json()在返回的JSON中，我們就看到了每個文章的標(biāo)題(title), 摘要(digest), 鏈接(link), 推送時間(update_time)和封面地址(cover)等信息。
appmsgid是每一次推送的唯一標(biāo)識符，aid則是每篇推文的唯一標(biāo)識符。
實(shí)際上，除了Cookie外，URL中的token參數(shù)也會用來限制爬蟲，因此上述代碼很有可能輸出會是{'base_resp': {'ret': 200040, 'err_msg': 'invalid csrf token'}}
接著我們寫一個循環(huán)，獲取所有文章的JSON，并進(jìn)行保存。
import json
import requests
import time
import random
import yaml
with open("wechat.yaml", "r") as file:
file_data = file.read()
config = yaml.safe_load(file_data)
headers = {
"Cookie": config['cookie'],
"User-Agent": config['user_agent']
}
# 請求參數(shù)
url = "https://mp.weixin.qq.com/cgi-bin/appmsg"
begin = "0"
params = {
"action": "list_ex",
"begin": begin,
"count": "5",
"fakeid": config['fakeid'],
"type": "9",
"token": config['token'],
"lang": "zh_CN",
"f": "json",
"ajax": "1"
}
# 存放結(jié)果
app_msg_list = []
# 在不知道公眾號有多少文章的情況下，使用while語句
# 也方便重新運(yùn)行時設(shè)置頁數(shù)
i = 0
while True:
begin = i * 5
params["begin"] = str(begin)
# 隨機(jī)暫停幾秒，避免過快的請求導(dǎo)致過快的被查到
time.sleep(random.randint(1,10))
resp = requests.get(url, headers=headers, params = params, verify=False)
# 微信流量控制, 退出
if resp.json()['base_resp']['ret'] == 200013:
print("frequencey control, stop at {}".format(str(begin)))
break
# 如果返回的內(nèi)容中為空則結(jié)束
if len(resp.json()['app_msg_list']) == 0:
print("all ariticle parsed")
break
app_msg_list.append(resp.json())
# 翻頁
i += 1在上面代碼中，我將fakeid和token也存放在了"wechat.yaml"文件中，這是因為fakeid是每個公眾號都特有的標(biāo)識符，而token則會經(jīng)常性變動，該信息既可以通過解析URL獲取，也可以從開發(fā)者工具中查看
在爬取一段時間后，就會遇到如下的問題
{'base_resp': {'err_msg': 'freq control', 'ret': 200013}}此時你在公眾號后臺嘗試插入超鏈接時就能遇到如下這個提示
這是公眾號的流量限制，通常需要等上30-60分鐘才能繼續(xù)。為了完美處理這個問題，你可能需要申請多個公眾號，可能需要和微信公眾號的登錄系統(tǒng)斗智斗勇，或許還需要設(shè)置代理池。
但是我并不需要一個工業(yè)級別的爬蟲，只想爬取自己公眾號的信息，因此等個一小時，重新登錄公眾號，獲取cookie和token，然后運(yùn)行即可。我可不想用自己的興趣挑戰(zhàn)別人的飯碗。
最后將結(jié)果以JSON格式保存。
# 保存結(jié)果為JSON
json_name = "mp_data_{}.json".format(str(begin))
with open(json_name, "w") as file:
file.write(json.dumps(app_msg_list, indent=2, ensure_ascii=False))或者提取文章標(biāo)識符，標(biāo)題，URL，發(fā)布時間這四列信息，保存成CSV。
info_list = [] for msg in app_msg_list: if "app_msg_list">
最終代碼如下（代碼可能有bug，謹(jǐn)慎使用），使用方法為python wechat_parser.py wechat.yaml
import json
import requests
import time
import random
import os
import yaml
import sys
if len(sys.argv) < 2:
print("too few arguments")
sys.exit(1)
yaml_file = sys.argv[1]
if not os.path.exists(yaml_file):
print("yaml_file is not exists")
sys.exit(1)
with open(yaml_file, "r") as file:
file_data = file.read()
config = yaml.safe_load(file_data)
headers = {
"Cookie": config['cookie'],
"User-Agent": config['user_agent']
}
# 請求參數(shù)
url = "https://mp.weixin.qq.com/cgi-bin/appmsg"
begin = "0"
params = {
"action": "list_ex",
"begin": begin,
"count": "5",
"fakeid": config['fakeid'],
"type": "9",
"token": config['token'],
"lang": "zh_CN",
"f": "json",
"ajax": "1"
}
# 存放結(jié)果
if os.path.exists("mp_data.json"):
with open("mp_data.json", "r") as file:
app_msg_list = json.load(file)
else:
app_msg_list = []
# 在不知道公眾號有多少文章的情況下，使用while語句
# 也方便重新運(yùn)行時設(shè)置頁數(shù)
i = len(app_msg_list)
while True:
begin = i * 5
params["begin"] = str(begin)
# 隨機(jī)暫停幾秒，避免過快的請求導(dǎo)致過快的被查到
time.sleep(random.randint(1,10))
resp = requests.get(url, headers=headers, params = params, verify=False)
# 微信流量控制, 退出
if resp.json()['base_resp']['ret'] == 200013:
print("frequencey control, stop at {}".format(str(begin)))
break
# 如果返回的內(nèi)容中為空則結(jié)束
if len(resp.json()['app_msg_list']) == 0:
print("all ariticle parsed")
break
app_msg_list.append(resp.json())
# 翻頁
i += 1
# 保存結(jié)果為JSON
json_name = "mp_data.json"
with open(json_name, "w") as file:
file.write(json.dumps(app_msg_list, indent=2, ensure_ascii=False))“Python如何爬取微信公眾號文章”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！
