Python獲取時(shí)光網(wǎng)電影數(shù)據(jù)
創(chuàng)新互聯(lián)專注于尉犁企業(yè)網(wǎng)站建設(shè),自適應(yīng)網(wǎng)站建設(shè),商城網(wǎng)站建設(shè)。尉犁網(wǎng)站建設(shè)公司,為尉犁等地區(qū)提供建站服務(wù)。全流程按需定制，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)
有時(shí)候覺得電影真是人類有史以來最偉大的發(fā)明，我喜歡看電影，看電影可以讓我們增長見聞，學(xué)習(xí)知識。從某種角度上而言，電影憑借自身獨(dú)有的魅力大大延長了人類的”壽命”。
一部電影如同一本故事書，我可以沉迷到其中，來的一個(gè)新的世界，跟著電影主角去經(jīng)歷去感悟。而好的電影是需要慢慢品嘗的，不僅提供了各種視覺刺激和情感體驗(yàn)，更能帶來思考點(diǎn)，也讓我可以懂得在現(xiàn)實(shí)生活中窮盡一生也無法明白的道理。電影比書本更直接、更有趣、更精彩。
好的電影可以在潛移默化中塑造我們的三觀，在電影中我們可以獲得平靜、滿足和溫和，學(xué)會(huì)堅(jiān)強(qiáng)、勇氣和努力。電影延展了無聊單調(diào)、枯燥又稀松平常的生活，讓我可以在對現(xiàn)實(shí)生活厭倦或失望時(shí)至少有一個(gè)地方可以逃離。
正因?yàn)殡娪坝兄T多好處，并且比書本和說教能更好的塑造三觀，因此，家長們可以陪同小孩看電影，鼓勵(lì)孩子從電影中學(xué)會(huì)堅(jiān)強(qiáng)和勇敢等優(yōu)良品質(zhì)。
既然要看看電影，就要去看優(yōu)秀的作品，時(shí)光網(wǎng)是一個(gè)電影各方面素材都比較全面的網(wǎng)站，本次的項(xiàng)目就是要從該網(wǎng)站上獲取到指定年份的所有電影數(shù)據(jù)，并導(dǎo)出成excel表格以供參考。
注意：請勿使用該技術(shù)獲取網(wǎng)絡(luò)上敏感、隱私、非公開等數(shù)據(jù)。
電影推薦(愛情類)：
假如愛有天意：緣，妙不可言，或許一切早已注定。
靈魂擺渡·黃泉：為情甘愿赴死，為愛執(zhí)守千年。
你的名字：世上所有的相遇都是久別重逢。
電影推薦(親子類)：
機(jī)器人總動(dòng)員：孩子看到的是友情，大人看到的是愛情。很有愛的一部動(dòng)畫片。
尋夢環(huán)游記：死亡并不是終點(diǎn)，被人忘卻才是真正的死亡。
電影推薦(懸疑類)：
小島驚魂
異次元駭客
恐怖游輪
requests：網(wǎng)絡(luò)數(shù)據(jù)請求并獲取，安裝方式：pip install requests
threading：多線程處理(數(shù)據(jù)量比較大)，Python自帶庫，無需安裝。
json：數(shù)據(jù)處理，Python自帶庫，無需安裝。
pandas：將數(shù)據(jù)導(dǎo)出成excel表格，安裝方式：pip install pandas
1、先通過requests庫，通過時(shí)光網(wǎng)自帶的電影數(shù)據(jù)API接口，獲取到指定的電影數(shù)據(jù)。
2、將獲取到的數(shù)據(jù)經(jīng)過簡單的加工，通過pandas庫存入到excel表格中。
重慶分公司
重慶分公司
# Encoding: utf-8
# Author: furongbing
# Date: 2021-11-19 20:54
# Project name: FrbPythonFiles
# IDE: PyCharm
# File name: Mtime
import requests
import pandas as pd
from threading import Thread
import time
import json
# 模塊說明：
"""
從時(shí)光網(wǎng)上按年代獲取指定年份電影的數(shù)據(jù)
"""
# 更新日志：
"""
1、2021-11-19：
a、完成初版
"""
# 待修改：
"""
"""
# 請求頭數(shù)據(jù)
headers = {"Accept": "application/json, text/plain, */*",
"Accept-Encoding": "gzip, deflate",
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'Content-Type': 'application/x-www-form-urlencoded',
'Cookie': '_tt_=FB8A3FAD4704DB7EC121C2565AA; __utma=.....1; __utmz=..1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); Hm_lvt_07aada600fc217b1133c1e84e5b=,,; Hm_lpvt_07aada600fc217b1133c1e84e5b=',
'Host': 'front-gateway.mtime.com',
'Origin': 'http://film.mtime.com',
'Referer': 'http://film.mtime.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36'
}
pagesize = 20 # todo 獲取的每頁數(shù)據(jù)條數(shù)，一般建議成默認(rèn)的20就可以了，設(shè)置的太大，每頁包含的數(shù)據(jù)量就大，某一條電影數(shù)據(jù)出錯(cuò)會(huì)導(dǎo)致其它數(shù)據(jù)也被拋棄。
data = []
error = []
def get_data(p_year=1987): # 按照年份獲取當(dāng)年度所有的電影數(shù)據(jù)
url = 'http://front-gateway.mtime.com/mtime-search/search/unionSearch2' # 請求的url
params = {'year': p_year, 'pageSize': pagesize, 'pageIndex': 1, 'searchType': 0} # 請求的表單數(shù)據(jù)
# 獲取當(dāng)年度所有的電影的數(shù)量，繼而計(jì)算要獲取多少頁
try:
r = requests.get(url=url, params=params, headers=headers, timeout=10)
r.encoding = r.apparent_encoding
all_data = json.loads(r.text)
moviesCount = all_data['data']['moviesCount']
pages = round(moviesCount / pagesize)
except Exception:
moviesCount = 1000
pages = round(moviesCount / pagesize)
# 定義變量
來源 = '時(shí)光網(wǎng)'
年代 = p_year
ID, 中文名, 英文名, 類型, 形式, 海報(bào)url, 評分, 導(dǎo)演, 主演, 詳情, 可播放, 國家地區(qū), 上映日期, 片長, 票房, 觀看日期 = [''] * 16
for page in range(pages): # todo 一共要獲取多少頁
if page % 10 == 0: # 每10頁輸出一次進(jìn)度
print(f'已完成 {100 * page / pages:.2f}%')
pageindex = page + 1
params = {'year': p_year, 'pageSize': pagesize, 'pageIndex': pageindex, 'searchType': 0} # 請求的表單數(shù)據(jù)
try: # 獲取指定頁的電影數(shù)據(jù)
r = requests.get(url=url, params=params, headers=headers, timeout=10)
r.encoding = r.apparent_encoding
all_data = json.loads(r.text)
movies = all_data['data']['movies']
# 獲取電影具體信息
for movie in movies:
ID = movie['movieId']
中文名 = movie['name']
英文名 = movie['nameEn']
類型 = movie['movieType']
形式 = movie['movieContentType']
海報(bào)url = movie['img']
其它譯名 = movie['titleOthersCn']
評分 = movie['rating']
導(dǎo)演 = movie['directors']
主演 = movie['actors']
詳情 = movie['href']
可播放 = movie['canPlay']
國家地區(qū) = movie['locationName']
上映日期 = movie['realTime']
片長 = movie['length']
info = [來源, 年代, ID, 中文名, 英文名, 類型, 形式, 海報(bào)url, 其它譯名, 評分, 導(dǎo)演, 主演, 詳情, 可播放, 國家地區(qū), 上映日期, 片長, 票房, 觀看日期]
data.append(info)
except Exception as err:
er_year, er_pagesize, er_pageindex, er_msg = p_year, pagesize, pageindex, err
error.append([er_year, er_pagesize, er_pageindex, er_msg])
print(f"出錯(cuò)啦，出錯(cuò)年份：{p_year}，pagesize：{pagesize}，page：{pageindex}，出錯(cuò)原因：{er_msg}")
continue
if __name__ == '__main__':
begin = time.perf_counter()
threads = []
for year in range(2020, 2021): # todo 此處可以自定義要獲取的年份
t = Thread(target=get_data, args=(year,))
threads.append(t)
t.start()
for t in threads:
t.join()
with open('error.txt', 'w', encoding='utf-8') as f:
f.write(str(error))
data.insert(0, ['來源', '年代', 'ID', '中文名', '英文名', '類型', '形式', '海報(bào)url', '其它譯名', '評分', '導(dǎo)演', '主演', '詳情', '可播放', '國家地區(qū)', '上映日期', '片長', '票房', '觀看日期'])
df = pd.DataFrame(data)
df.to_excel(excel_writer=r'film.xlsx', sheet_name='sheet1', index=None, header=False) # todo film.xlsx為最后保存的文件名
end = time.perf_counter()
runtime = end - begin
print(f'運(yùn)行時(shí)長：{runtime:.3f}秒。')
輸出結(jié)果：
已完成 0.00%
已完成 11.63%
已完成 23.26%
已完成 34.88%
已完成 46.51%
已完成 58.14%
已完成 69.77%
已完成 81.40%
已完成 93.02%
運(yùn)行時(shí)長：27.906秒。
雖然示例中獲取的是2020年的數(shù)據(jù)，但是由于代碼中采用的是多線程，所以如果是獲取一段時(shí)間的數(shù)據(jù)時(shí)耗費(fèi)的時(shí)間也和這個(gè)差不多。
最后保存到excel中的數(shù)據(jù)如下：
