真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Python爬蟲爬取Bilibili彈幕過程解析-創(chuàng)新互聯(lián)

先來思考一個(gè)問題,B站一個(gè)視頻的彈幕最多會(huì)有多少?

成都創(chuàng)新互聯(lián)公司成立與2013年,先為文水等服務(wù)建站,文水等地企業(yè),進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為文水企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

比較多的會(huì)有2000條吧,這么多數(shù)據(jù),B站肯定是不會(huì)直接把彈幕和這個(gè)視頻綁在一起的。

也就是說,有一個(gè)視頻地址為https://www.bilibili.com/video/av67946325,你如果直接去requests.get這個(gè)地址,里面是不會(huì)有彈幕的,回想第一篇說到的攜程異步加載數(shù)據(jù)的方式,B站的彈幕也一定是先加載當(dāng)前視頻的界面,然后再異步填充彈幕的。

接下來我們就可以打開火狐瀏覽器(平??梢曰鸷雀杩刂婆_(tái)都使用,因?yàn)楣雀枥锩嬉驗(yàn)椴寮粩r截下來的包在火狐可以抓到,同理谷歌也是)的控制臺(tái)來觀察網(wǎng)絡(luò)請(qǐng)求了。

經(jīng)過仔細(xì)排查之后,我找到了一個(gè)請(qǐng)求xml的,它后面跟了一個(gè)oid,查看它的響應(yīng)內(nèi)容之后可以發(fā)現(xiàn)它就是彈幕文件。

Python爬蟲爬取Bilibili彈幕過程解析

它的響應(yīng)時(shí)間98毫秒,遠(yuǎn)超其它幾個(gè)響應(yīng),所以說如果把彈幕直接放在視頻頁面,用戶體驗(yàn)一定會(huì)很差。

Python爬蟲爬取Bilibili彈幕過程解析

找到彈幕了,爬取它很容易,但是我們想要是爬取固定av號(hào)視頻的彈幕,而不是說隨意去找一個(gè)oid來爬取彈幕,這樣我們都不知道爬下來的彈幕是哪個(gè)視頻的。

接下來我們就可以復(fù)制oid的117784982值,去視頻頁面搜索看看了,通過視頻來獲得它的oid再來爬xml彈幕就很方便了。

這次用了谷歌瀏覽器,在里面通過搜索oid果然搜索到相關(guān)的數(shù)據(jù)了。

Python爬蟲爬取Bilibili彈幕過程解析

其中cid是彈幕對(duì)應(yīng)的id,aid對(duì)應(yīng)視頻av號(hào)。

先把這個(gè)頁面爬取下來。

# encoding: utf-8

import requests

headers = {
  'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
  'Accept': 'text/html',
  'Cookie': "_uuid=1DBA4F96-2E63-8488-DC25-B8623EFF40E773841infoc; buvid3=FE0D3174-E871-4A3E-877C-A4ED86E20523155831infoc; LIVE_BUVID=AUTO8515670521735348; sid=l765gx48; DedeUserID=33717177; DedeUserID__ckMd5=be4de02fd64f0e56; SESSDATA=cf65a5e0%2C1569644183%2Cc4de7381; bili_jct=1e8cdbb5755b4ecd0346761a121650f5; CURRENT_FNVAL=16; stardustvideo=1; rpdid=|(umY))|ukl~0J'ulY~uJm)kJ; UM_distinctid=16ce0e51cf0abc-02da63c2df0b4b-5373e62-1fa400-16ce0e51cf18d8; stardustpgcv=0606; im_notify_type_33717177=0; finger=b3372c5f; CURRENT_QUALITY=112; bp_t_offset_33717177=300203628285382610"

}
resp = requests.get('https://www.bilibili.com/video/av67946325',headers=headers)
print(resp.text)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。


文章題目:Python爬蟲爬取Bilibili彈幕過程解析-創(chuàng)新互聯(lián)
鏈接URL:http://weahome.cn/article/cdjcgi.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部