本篇內(nèi)容介紹了“Python怎么爬取yy全站小視頻”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！
創(chuàng)新互聯(lián)公司主要從事做網(wǎng)站、網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)太和,十年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專(zhuān)業(yè),歡迎來(lái)電咨詢(xún)建站服務(wù):18980820575
Python 3.6
Pycharm
import os import requests
安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。
百度搜索YY，點(diǎn)擊分類(lèi)選擇小視頻，里面的小姐姐自拍的短視頻就是我們所需要的數(shù)據(jù)了。
如圖所示，所框選的url地址，就是短視頻的播放地址了。
第三頁(yè)的數(shù)據(jù)請(qǐng)求參數(shù)：
很明顯這是根據(jù)data參數(shù)中的page改變翻頁(yè)的。
構(gòu)建翻頁(yè)循環(huán)，獲取視頻url地址以及發(fā)布人的名字，保存到本地。
1、請(qǐng)求數(shù)據(jù)接口
重慶分公司
重慶分公司
import requests
url = 'https://api-tinyvideo-web.yy.com/home/tinyvideosv2'
params = {
'callback': 'jQuery112409962628943012035_1613628479734',
'appId': 'svwebpc',
'sign': '',
'data': '{"uid":0,"page":0,"pageSize":10}',
'_': '1613628479737',
}
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, params=params, headers=headers)問(wèn)題來(lái)了，返回的數(shù)據(jù)是json數(shù)據(jù)嘛？
如上圖所示，很多人看到這樣的數(shù)據(jù)肯定就覺(jué)得這不就是一個(gè)json數(shù)據(jù)嘛？
通過(guò)response查看就知道了，返回給我們的數(shù)據(jù)是多了一段 jQuery112409962628943012035_1613628479734()
其中的json數(shù)據(jù)是包含在里面的，如果想要提取數(shù)據(jù)有三種方法。
1、返回response.text，使用正則表達(dá)式提取url地址以及發(fā)布人的名字
video_url = re.findall('"resurl":"(.*?)"', response.text)
user_name = re.findall('"username":"(.*?)"', response.text)
2、返回response.text，使用正則表達(dá)式提取 jQuery112409962628943012035_1613628479734() 中的數(shù)據(jù)，然后通過(guò)json模塊把字符串轉(zhuǎn)成json數(shù)據(jù)，然后遍歷提取數(shù)據(jù)。
string = re.findall('jQuery112409962628943012035_1613628479734\((.*?)\)', response.text)[0]
json_data = json.loads(string)
result = json_data['data']['data']
pprint.pprint(result)
3、把請(qǐng)求的url地址中的 callback 刪掉，可以直接獲取json數(shù)據(jù)
import pprint
import requests
url = 'https://api-tinyvideo-web.yy.com/home/tinyvideosv2'
params = {
'appId': 'svwebpc',
'sign': '',
'data': '{"uid":0,"page":1,"pageSize":10}',
'_': '1613628479737',
}
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, params=params, headers=headers)
json_data = response.json()
result = json_data['data']['data']
pprint.pprint(result)2、保存數(shù)據(jù)
for index in result:
video_url = index['resurl']
user_name = index['username']
video_content = requests.get(url=video_url, headers=headers).content
with open('video\\' + user_name + '.mp4', mode='wb') as f:
f.write(video_content)
print(user_name)注意點(diǎn)： 用戶(hù)名有特殊字符，保存的時(shí)候會(huì)報(bào)錯(cuò)
所以需要使用正則表達(dá)式替換掉特殊字符
def change_title(title): pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]") # '/ \ : * ? ">
import re
import requests
import re
def change_title(title):
pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]") # '/ \ : * ? " < > |'
new_title = re.sub(pattern, "_", title) # 替換為下劃線
return new_title
page = 0
while True:
page += 1
url = 'https://api-tinyvideo-web.yy.com/home/tinyvideosv2'
params = {
'appId': 'svwebpc',
'sign': '',
'data': '{"uid":0,"page":%s,"pageSize":10}' % str(page),
'_': '1613628479737',
}
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, params=params, headers=headers)
json_data = response.json()
result = json_data['data']['data']
for index in result:
video_url = index['resurl']
user_name = index['username']
new_title = change_title(user_name)
video_content = requests.get(url=video_url, headers=headers).content
with open('video\\' + new_title + '.mp4', mode='wb') as f:
f.write(video_content)
print(user_name)
“Python怎么爬取yy全站小視頻”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！
