創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商,新人活動買多久送多久,劃算不套路!
成都創(chuàng)新互聯(lián)公司主營羅莊網(wǎng)站建設(shè)的網(wǎng)絡公司,主營網(wǎng)站建設(shè)方案,App定制開發(fā),羅莊h5微信平臺小程序開發(fā)搭建,羅莊網(wǎng)站營銷推廣歡迎羅莊等地區(qū)企業(yè)咨詢這篇文章將為大家詳細講解有關(guān)python抓取網(wǎng)頁亂碼的解決方法,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。
在使用python爬取網(wǎng)頁時,經(jīng)常會遇到亂碼問題,一旦遇到亂碼問題,就很難得到有用的信息。本人遇到亂碼問題,一般有以下幾個方式:
1、查看網(wǎng)頁源碼中的head標簽,找到編碼方式,例如:
在上圖中,可以看到charset='utf-8',說明這個網(wǎng)頁很大可能是采用‘UTF-8’編碼(是很大可能,但不是百分之百),因此可以試試這個編碼方式:
result = response.content.decode('utf-8')
這種方式得到的內(nèi)容基本上就不會亂碼。
2、如果上述的方式?jīng)]有任何作用,頁面依然亂碼;或者在head標簽下并沒有找到charset屬性;或者我們要采集很多網(wǎng)頁的信息,而且這些網(wǎng)頁的編碼方式不盡相同,我們不可能做到一個一個網(wǎng)頁的去查看head標簽,那么可以采用下面的方式解決亂碼。
(1)python的chardet庫
可以使用下面的方式解決亂碼問題
result = chardet.detect(response.content) print(result) data = response.content.decode(chardet.detect(response.content)['encoding']) {'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}
從輸出結(jié)果可以看出這是“猜測”編碼,猜測的方式是先收集各種編碼的特征字符,根據(jù)特征字符判斷,就能有很大概率“猜對”。
這種方法的效率很低,如果采集的網(wǎng)頁很大,可以只猜測其中一段的源碼,即
result = chardet.detect(response.content[:1000])
(2)response的編碼
也可以使用另一種方法,即response自有的encoding,apparent_encoding這兩個變量。
response.encoding一般是從response.headers中content-type字段中的charset的值,其它情況我也不是很了解。
response.apparent_encoding 一般是采用上述的python的chardet庫這種方法。
因此可以用下面的方式解決亂碼問題
data = response.content.decode(response.apparent_encoding)
3、一般情況下,上述兩個方法可以解決亂碼問題。但是如果上述兩個方式不能解決,那有可能是網(wǎng)頁的壓縮導致的。這種問題用下面的方法解決。
檢查一下你寫的頭信息是不是包含了Accept-Encoding這個字段,如果有,請刪除這個字段,亂碼問題就會得到解決。
headers = { 'Accept-Encoding': 'gzip, deflate, sdch', 'Accept-Language': 'zh-CN,zh;q=0.8', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Connection': 'keep-alive', }
關(guān)于python抓取網(wǎng)頁亂碼的解決方法就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。