前言

嗨嘍，大家好呀~這里是愛看美女的茜茜吶

成都創(chuàng)新互聯(lián)公司是一家專注于網(wǎng)站制作、做網(wǎng)站與策劃設(shè)計,江漢網(wǎng)站建設(shè)哪家好?成都創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:江漢等地區(qū)。江漢做網(wǎng)站價格咨詢:18980820575

代碼提供者：青燈教育-巳月

知識點(diǎn):

• 動態(tài)數(shù)據(jù)抓包
• requests發(fā)送請求
• 結(jié)構(gòu)化+非結(jié)構(gòu)化數(shù)據(jù)解析

準(zhǔn)備工作

下面的盡量跟我保持一致哦~不然有可能會發(fā)生報錯 ????

開發(fā)環(huán)境:

• python 3.8
  運(yùn)行代碼
• pycharm 2021.2
  輔助敲代碼
• requests
  第三方模塊 pip install 模塊名

如果安裝python第三方模塊:

1. win + R 輸入 cmd 點(diǎn)擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車

2. 在pycharm中點(diǎn)擊Terminal(終端) 輸入安裝命令

如何配置pycharm里面的python解釋器?

1. 選擇file(文件) >>> setting(設(shè)置) >>> Project(項目) >>> python interpreter(python解釋器)

2. 點(diǎn)擊齒輪, 選擇add

3. 添加python安裝路徑

pycharm如何安裝插件?

1. 選擇file(文件) >>> setting(設(shè)置) >>> Plugins(插件)

2. 點(diǎn)擊 Marketplace 輸入想要安裝的插件名字 比如:翻譯插件 輸入 translation / 漢化插件 輸入 Chinese

3. 選擇相應(yīng)的插件點(diǎn)擊 install(安裝) 即可

4. 安裝成功之后 是會彈出 重啟pycharm的選項 點(diǎn)擊確定, 重啟即可生效

軟件、解答、源碼、教程可以加Q群:免費(fèi)獲取~

代碼

采集排名數(shù)據(jù)

import requests
import re
import csv
def replace(str_):
    str_ = re.findall('
(.*?)
', str_)[0]
    return str_
   
with open('rank.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(['country', 'rank', 'region', 'score_1', 'score_2', 'score_3', 'score_4', 'score_5', 'score_6', 'stars', 'total_score', 'university', 'year'])
url = 'https://www.qschina.cn/sites/default/files/qs-rankings-data/cn/_indicators.txt'
response = requests.get(url=url)
json_data = response.json()
data = json_data['data']
for i in data:
    country = i['location'] # 國家/地區(qū)
    rank = i['overall_rank']    # 排名
    region = i['region']    # 大洲
    score_1 = replace(i['ind_76'])  # 學(xué)術(shù)聲譽(yù)
    score_2 = replace(i['ind_77'])  # 雇主聲譽(yù)
    score_3 = replace(i['ind_36'])  # 師生比
    score_4 = replace(i['ind_73'])  # 教員引用率
    score_5 = replace(i['ind_18'])  # 國際教室
    score_6 = replace(i['ind_14'])  # 國際學(xué)生
    stars = i['stars']  # 星級
    total_score = replace(i['overall']) # 總分
    university = i['uni']   # 大學(xué)
    university = re.findall('
(.*?)