怎樣使用python網(wǎng)絡(luò)爬蟲抓取視頻

小編給大家分享一下怎樣使用python網(wǎng)絡(luò)爬蟲抓取視頻，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

創(chuàng)新互聯(lián)公司主要業(yè)務(wù)有網(wǎng)站營銷策劃、成都網(wǎng)站建設(shè)、網(wǎng)站制作、微信公眾號開發(fā)、重慶小程序開發(fā)、H5技術(shù)、程序開發(fā)等業(yè)務(wù)。一次合作終身朋友，是我們奉行的宗旨；我們不僅僅把客戶當(dāng)客戶，還把客戶視為我們的合作伙伴，在開展業(yè)務(wù)的過程中，公司還積累了豐富的行業(yè)經(jīng)驗、營銷型網(wǎng)站資源和合作伙伴關(guān)系資源，并逐漸建立起規(guī)范的客戶服務(wù)和保障體系。

準(zhǔn)備工作：

l Chrome 瀏覽器、

l Vim

l Python3 開發(fā)環(huán)境

l Kali Linux

API 尋找 && 提取

1、我們通過 F12 打開開發(fā)者模式。

怎樣使用python網(wǎng)絡(luò)爬蟲抓取視頻

2、再查看一下 Headers 屬性

3、再看下看到Request URL這個屬性值

代碼實現(xiàn)

寫好腳本，利用爬蟲下載片斷

##導(dǎo)入的兩個模塊，其中requests模塊需要自行下載
from multiprocessing import Pool
import requests
##定義一個涵數(shù)
def demo(i):
    ##定義了一個url,后面%3d就是截取后面三位給他加0，以防止i的參數(shù)是1的時候參數(shù)對不上號，所以是1的時候就變成了001
    url="https://vip.okokbo.com/20180114/ArVcZXQd/1000kb/hls/phJ51837151%03d.ts"%i
    ##定義了請求頭信息
    headers={"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36"}
    ##構(gòu)建自定義請求對象
    req=requests.get(url,headers=headers)
    ##將文件保存在當(dāng)前目錄的mp4文件中，名字以url后十位數(shù)起名
    with open('./mp4/ {}'.format(url[-10:]), 'wb') as f:
        f.write(req.content)
 
##程序代碼的入口
if __name__=='__main__':
    ##定義一個進(jìn)程池，可以同時執(zhí)行二十個任務(wù)，不然一個一個下載太慢
    pool = Pool(20)
    ##執(zhí)行任務(wù)的代碼
    for i in range(100):
        pool.apply_async(demo, (i,))
 
    
    pool.close()
pool.join()

復(fù)制電影存放的路徑

怎樣使用python網(wǎng)絡(luò)爬蟲抓取視頻