今天就跟大家聊聊有關(guān)使用python怎么爬取微博評論，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

創(chuàng)新互聯(lián)建站專注于靈臺企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè),商城建設(shè)。靈臺網(wǎng)站建設(shè)公司,為靈臺等地區(qū)提供建站服務(wù)。全流程按需定制設(shè)計，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)建站專業(yè)和態(tài)度為您提供的服務(wù)

python主要應(yīng)用領(lǐng)域有哪些

1、云計算，典型應(yīng)用OpenStack。2、WEB前端開發(fā)，眾多大型網(wǎng)站均為Python開發(fā)。3.人工智能應(yīng)用，基于大數(shù)據(jù)分析和深度學(xué)習而發(fā)展出來的人工智能本質(zhì)上已經(jīng)無法離開python。4、系統(tǒng)運維工程項目，自動化運維的標配就是python+Django/flask。5、金融理財分析，量化交易，金融分析。6、大數(shù)據(jù)分析。

一、爬蟲微博

與QQ空間爬蟲類似，可以爬取新浪微博用戶的個人信息、微博信息、粉絲、關(guān)注和評論等。

爬蟲抓取微博的速度可以達到 1300萬/天 以上，具體要視網(wǎng)絡(luò)情況。

難度程度排序：網(wǎng)頁端>手機端>移動端。微博端就是最好爬的微博端。

二、python爬蟲爬取微博評論

第一步：確定評論用戶的id

# -*- coding:utf-8 -*-
import requests
import re
import time
import pandas as pd
urls = 'https://m.weibo.cn/api/comments/show?id=4073157046629802&page={}'
headers = {'Cookies':'Your cookies',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}

第二步：找到html標簽

tags = re.compile(']*>')

第三步：設(shè)置提取評論function

def get_comment(url):
 
 
    j = requests.get(url, headers=headers).json()
 
 
    comment_data = j['data']['data']
 
 
    for data in comment_data:
 
 
        try:

第四步：利用正則表達式去除文本中的html標簽

comment = tags.sub('', data['text']) # 去掉html標簽
 
 
            reply = tags.sub('', data['reply_text'])
 
 
            weibo_id = data['id']
 
 
            reply_id = data['reply_id']
 
 
 
            comments.append(comment)
 
 
            comments.append(reply)
 
 
            ids.append(weibo_id)
 
 
            ids.append(reply_id)

第五步：爬取評論

df = pd.DataFrame({'ID': ids, '評論': comments})
 
 
df = df.drop_duplicates()
 
 
df.to_csv('觀察者網(wǎng).csv', index=False, encoding='gb18030')

看完上述內(nèi)容，你們對使用python怎么爬取微博評論有進一步的了解嗎？如果還想了解更多知識或者相關(guān)內(nèi)容，請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。