創(chuàng)新互聯www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商，新人活動買多久送多久，劃算不套路！

創(chuàng)新互聯公司專注于衢州網站建設服務及定制，我們擁有豐富的企業(yè)做網站經驗。 熱誠為您提供衢州營銷型網站建設，衢州網站制作、衢州網頁設計、衢州網站官網定制、微信平臺小程序開發(fā)服務，打造衢州網絡公司原創(chuàng)品牌,更為您提供衢州網站排名全網營銷落地服務。

本篇文章給大家分享的是有關Python中BeautifulSoup4的使用方法，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

1 urllib和urllib2

Python中包含了兩個網絡模塊，分別是urllib與urllib2，urllib2是urllib的升級版，擁有更強大的功能。urllib，讓我們可以像讀文件一樣，讀取http與ftp。而urllib2，則在urllib的基礎上，提供了更多的接口，如cookie、代理、認證等更強大的功能。

這里借鑒下文章一和文章二的說法：

urllib僅可以接受URL，不能創(chuàng)建，設置headers的request類實例；

但是urllib提供urlencode()方法用來GET查詢字符串的產生，而urllib2則沒有（這是urllib和urllib2經常一起使用的主要原因）

編碼工作使用urllib的urlencode()函數，幫我們講key:value這樣的鍵值對轉換成‘key=value’這樣的字符串，解碼工作可以使用urllib的unquote

該兩個庫都是Python自帶庫，且由于簡單爬蟲所需要的功能比較少，所以不做更多贅述。

2 BeautifulSoup

現在的Mac已經不能用

$ sudo easy_install pip

來安裝pip，而只能用一個get-pip.py的方法，網上有大量教程。然后安裝完畢后用pip來安裝beautilfulsoup4。

安裝完以后一個簡單的例子（環(huán)境Python2.7，其實Python3在這段代碼也差不多）：

from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read())
print(bsObj.h2)

網頁不存在的情況如何判斷

方法一：空值判斷

if html is None:
    print("URL not found")
else:
    # expressions

方法二：try-catch

try:
    html = urlopen("http://blog.orisonchan.cc")
except HTTPError as e:
    print(e)
    # expressions

這里從O`Reilly系列圖書《Python網絡數據采集》中摘抄一個完整例子：

from urllib.request import urlopen
from urllib.error import HTTPError
from bs4 import BeautifulSoup

def getTitle(url):
    try:
        html = urlopen(url) 
    except HTTPError as e:
        return None
    try:
        bsObj = BeautifulSoup(html. read())
        title = bsObj.body.h2
    except AttributeError as e:
        return None
    return title

title = getTitle(" http://www.pythonscraping.com/pages/page1.html")
if title == None:
    print("Title could not be found")
else:
    print(title)

2.1 常用方法

2.1.1 find()

格式：

find(name, attributes, recursive, text ,keywords)

參數介紹

name：標簽名，如a，p。
attributes：一個標簽的若干屬性和對應的屬性值。
recursive：是否遞歸。如果是，就會查找tag的所有子孫標簽，默認true。
text：標簽的文本內容去匹配，而不是標簽的屬性。
keyword：選擇那些具有指定屬性的標簽。

find()示例：

from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read(), 'html.parser')
print str(bsObj.find(name='h2', attrs={'class': {'post-title'}}))

結果

常見“樹”概念解析（1）

2.1.2 find_all()

find_all(name, attributes, recursive, text , limit, keywords)

參數介紹

name：標簽名，如a，p。
attributes：一個標簽的若干屬性和對應的屬性值。
recursive：是否遞歸。如果是，就會查找tag的所有子孫標簽，默認true。
text：標簽的文本內容去匹配，而不是標簽的屬性。
limit: 個數限制，find其實就等于limit=1，查看find源碼即可發(fā)現。
keyword：選擇那些具有指定屬性的標簽。

bsObj.find_all("a")可以簡寫為bsObj("a")

find_all()示例：

from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read(), 'html.parser')
print str(bsObj.find_all(name='h2', attrs={'class': {'post-title'}})[1:3]).decode('unicode-escape')

結果

[
Spark聚合下推思路以及demo, 

寫一個Spark DataSource的隨手筆記]

2.2 常用對象

2.2.1 tag對象

即html中的標簽。其中兩個屬性就是name和attributes。使用如下：

from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read(), 'html.parser')
tag = bsObj.h2
print(tag)
print(tag.name)
print(tag.attrs)
print(tag['class'])

結果

常見“樹”概念解析（1）
h2
{u'class': [u'post-title'], u'itemprop': u'name headline'}
[u'post-title']

2.2.2 NavigableString對象

用來表示包含在tag中的文字。注意！如果tag中包含子tag，navigableString對象會是None！

2.2.3 Comment對象

用來查找HTML里的注釋標簽。是一個特殊的NavigableString，所以也有其性質。

2.3 導航樹（Navigating Trees）

2.3.1 子節(jié)點們

對tag級別調用childen屬性可得到該tag的所有子節(jié)點：

from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://blog.orisonchan.cc")
bsObj = BeautifulSoup(html.read(), 'html.parser')
for child in bsObj.find(name='h2', attrs={'class': {'post-title'}}).children:
    print(child)

結果

常見“樹”概念解析（1）

2.3.2 兄弟節(jié)點（們）

next_siblings屬性和previous_siblings屬性可以查詢兄弟節(jié)點們。

next_sibling和previous_sibling可以查下一個/上一個兄弟。

需要注意的是，很可能直接相鄰的上一個下一個兄弟節(jié)點并不是Tag而是一個換行符啊標點符號啊等NavigableString對象（字符串節(jié)點）。

2.3.3 父節(jié)點（們）

parent屬性得到某元素父節(jié)點。

parents屬性遞歸得到所有的父節(jié)點。

2.4 過濾器

2.4.1 字符串

即上文提到bsObj.find_all("a")和bsObj("a")。

2.4.2 標簽列表

形如bsObj.find_all(["a", "p"])則會去尋找a標簽和p標簽。

2.4.3 True

True可以匹配任何職，但是不會返回字符串節(jié)點

2.4.4 正則表達式

引入Python自帶的re（regular expressions）

示例：

from urllib import urlopen
from bs4 import BeautifulSoup
import re
html = urlopen("http://blog.orisonchan.cc/2018/08/14/43")
bsObj = BeautifulSoup(html.read(), 'html.parser')
print bsObj.find_all(name='img', attrs={'src': re.compile("[a-z]*.png")})[1]

結果

2.4.5 自定義方法作為參數

這個不知道該怎么表述，有興趣的可以去官方文檔看一下，這里直接來一個demo：

from urllib import urlopen
from bs4 import BeautifulSoup
import re
html = urlopen("http://blog.orisonchan.cc/2018/08/14/43")
bsObj = BeautifulSoup(html.read(), 'html.parser')


def png_image(tag):
    return tag.name == "img" and re.compile("[a-z]*tree.png").search(tag.attrs["src"])


for img in bsObj.find_all(png_image):
    print(img)

結果返回了該篇文章4個img中的3個：

以上就是Python中BeautifulSoup4的使用方法，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注創(chuàng)新互聯-成都網站建設公司行業(yè)資訊頻道。

新聞標題：Python中BeautifulSoup4的使用方法-創(chuàng)新互聯
文章來源：http://weahome.cn/article/dsccij.html