這篇文章給大家分享的是有關(guān)怎樣使用python爬蟲新聞的內(nèi)容。小編覺得挺實用的,因此分享給大家做個參考。一起跟隨小編過來看看吧。
文安ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應(yīng)用場景,ssl證書未來市場廣闊!成為創(chuàng)新互聯(lián)的ssl證書銷售渠道,可以享受市場價格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:13518219792(備注:SSL證書合作)期待與您的合作!
首先,打開開發(fā)者模式,分析網(wǎng)頁。
具體做法:按F12,并用ctrl+f對elements進行搜索,關(guān)鍵字為新聞內(nèi)容的幾個字即可。
找到內(nèi)容文字
利用這個方法,我們很輕松就找到了新聞文字內(nèi)容的位置,通過分析發(fā)現(xiàn)其內(nèi)容都為p標(biāo)簽下的字符串,并且其class="one-p",這可以作為定位該內(nèi)容的唯一特征。
通過以上的分析,我們確定了定位關(guān)鍵信息的方法,接下來就可以編寫python程序了:
實例代碼:
# -*- coding:utf-8 -*-import requests from bs4 import BeautifulSoup url = "https://new.qq.com/omn/20190704/20190704A0EHMR00.html"r = requests.get(url) rr = r.content bs = BeautifulSoup(rr,"lxml") news_contents = bs.find_all("p",{'class':'one-p'}) news_final = ""for i in news_contents: print(i.string) if i.string: news_final = news_final +i.string + "\n"f = open("news_contents.txt",'w') f.write(news_final) f.close()
最終打開保存的文件,里面就是獲取的新聞內(nèi)容了哦~
感謝各位的閱讀!關(guān)于怎樣使用python爬蟲新聞就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,讓大家可以學(xué)到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!