這篇文章主要介紹“Python爬蟲解析器BeautifulSoup4怎么使用”的相關(guān)知識(shí)，小編通過(guò)實(shí)際案例向大家展示操作過(guò)程，操作方法簡(jiǎn)單快捷，實(shí)用性強(qiáng)，希望這篇“Python爬蟲解析器BeautifulSoup4怎么使用”文章能幫助大家解決問(wèn)題。

成都創(chuàng)新互聯(lián)公司自2013年起，先為德陽(yáng)等服務(wù)建站，德陽(yáng)等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為德陽(yáng)企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

一、BeautifulSoup4庫(kù)介紹

1. 介紹

Beautiful Soup 是一個(gè)可以從HTML或XML文件中提取數(shù)據(jù)的Python庫(kù).它能夠通過(guò)你喜歡的轉(zhuǎn)換器實(shí)現(xiàn)慣用的文檔導(dǎo)航,查找,修改文檔的方式.Beautiful Soup會(huì)幫你節(jié)省數(shù)小時(shí)甚至數(shù)天的工作時(shí)間。

BeautifulSoup4將網(wǎng)頁(yè)轉(zhuǎn)換為一顆DOM樹(shù)：

2. 下載模塊

1. window電腦點(diǎn)擊win鍵+ R，輸入：cmd

2. 安裝beautifulsoup4，輸入對(duì)應(yīng)的pip命令：pip install beautifulsoup4 ，我已經(jīng)安裝過(guò)了出現(xiàn)版本就安裝成功了

3. 導(dǎo)包

form bs4 import BeautifulSoup

3. 解析庫(kù)

BeautifulSoup在解析時(shí)實(shí)際上依賴解析器，它除了支持Python標(biāo)準(zhǔn)庫(kù)中的HTML解析器外，還支持一 些第三方解析器(比如lxml)：

對(duì)于我們來(lái)說(shuō)，我們最常使用的解析器是lxml HTML解析器，其次是html5lib.

二、上手操作

1. 基礎(chǔ)操作

1. 讀取HTML字符串：

from bs4 import BeautifulSoup

html = '''

    
        
Hello
    

    
        
            Foo
            Bar
            Jay
        
        
            Foo
                百度官網(wǎng)
            Bar
        
    

 
'''# 創(chuàng)建對(duì)象soup = BeautifulSoup(html, 'lxml')

2. 讀取HTML文件：

from bs4 import BeautifulSoup

soup = BeautifulSoup(open('index.html'),'lxml')

3. 基本方法

from bs4 import BeautifulSoup

html = '''

    
        
Hello
    

    
        
            Foo
            Bar
            Jay
        
        
            Foo
                百度官網(wǎng)
            Bar
        
    

 
'''# 創(chuàng)建對(duì)象soup = BeautifulSoup(html, 'lxml')# 縮進(jìn)格式print(soup.prettify())# 獲取title標(biāo)簽的所有內(nèi)容print(soup.title)# 獲取title標(biāo)簽的名稱print(soup.title.name)# 獲取title標(biāo)簽的文本內(nèi)容print(soup.title.string)# 獲取head標(biāo)簽的所有內(nèi)容print(soup.head)# 獲取第一個(gè)p標(biāo)簽中的所有內(nèi)容print(soup.p)# 獲取第一個(gè)p標(biāo)簽的id的值print(soup.p["id"])# 獲取第一個(gè)a標(biāo)簽中的所有內(nèi)容print(soup.a)# 獲取所有的a標(biāo)簽中的所有內(nèi)容print(soup.find_all("a"))# 獲取id="u1"print(soup.find(id="u1"))# 獲取所有的a標(biāo)簽，并遍歷打印a標(biāo)簽中的href的值for item in soup.find_all("a"):
    print(item.get("href"))# 獲取所有的a標(biāo)簽，并遍歷打印a標(biāo)簽的文本值for item in soup.find_all("a"):
    print(item.get_text())

2. 對(duì)象種類

Beautiful Soup將復(fù)雜HTML文檔轉(zhuǎn)換成一個(gè)復(fù)雜的樹(shù)形結(jié)構(gòu),每個(gè)節(jié)點(diǎn)都是Python對(duì)象,所有對(duì)象可以歸納為4種: Tag , NavigableString , BeautifulSoup , Comment .

（1）Tag：Tag通俗點(diǎn)講就是HTML中的一個(gè)個(gè)標(biāo)簽，例如：

soup = BeautifulSoup('Extremely bold','lxml')
tag = soup.b
print(tag)
print(type(tag))

輸出結(jié)果：

Extremely bold

Tag有很多方法和屬性,在 遍歷文檔樹(shù) 和 搜索文檔樹(shù) 中有詳細(xì)解釋.現(xiàn)在介紹一下tag中最重要的屬性: name和attributes：

name屬性：

print(tag.name)
# 輸出結(jié)果：b
# 如果改變了tag的name,那將影響所有通過(guò)當(dāng)前Beautiful Soup對(duì)象生成的HTML文檔:
tag.name = "b1"
print(tag)
# 輸出結(jié)果：Extremely bold

Attributes屬性：

# 取clas屬性
print(tag['class'])

# 直接”點(diǎn)”取屬性, 比如: .attrs :
print(tag.attrs)

tag 的屬性可以被添加、修改和刪除：

# 添加 id 屬性
tag['id'] = 1

# 修改 class 屬性
tag['class'] = 'tl1'

# 刪除 class 屬性
del tag['class']

（2）NavigableString：用.string獲取標(biāo)簽內(nèi)部的文字：

print(soup.b.string)print(type(soup.b.string))

（3）BeautifulSoup：表示的是一個(gè)文檔的內(nèi)容，可以獲取它的類型，名稱，以及屬性：

print(type(soup.name))
# 

print(soup.name)
# [document]

print(soup.attrs)
# 文檔本身的屬性為空

（4）Comment：是一個(gè)特殊類型的 NavigableString 對(duì)象，其輸出的內(nèi)容不包括注釋符號(hào)。

print(soup.b)

print(soup.b.string)

print(type(soup.b.string))

3. 搜索文檔樹(shù)

1.find_all(name, attrs, recursive, text, **kwargs)

（1）name 參數(shù)：name 參數(shù)可以查找所有名字為 name 的tag,字符串對(duì)象會(huì)被自動(dòng)忽略掉

• 匹配字符串：查找與字符串完整匹配的內(nèi)容,用于查找文檔中所有的標(biāo)簽

  a_list = soup.find_all("a")print(a_list)

• 匹配正則表達(dá)式：如果傳入正則表達(dá)式作為參數(shù),Beautiful Soup會(huì)通過(guò)正則表達(dá)式的 match() 來(lái)匹配內(nèi)容

  # 返回所有表示和標(biāo)簽for tag in soup.find_all(re.compile("^b")):
      print(tag.name)

• 匹配列表：如果傳入列表參數(shù),Beautiful Soup會(huì)將與列表中任一元素匹配的內(nèi)容返回

  # 返回所有所有
  標(biāo)簽和標(biāo)簽:soup.find_all(["p", "a"])

（2）kwargs參數(shù)

soup.find_all(id='link2')

（3）text參數(shù)：通過(guò) text 參數(shù)可以搜搜文檔中的字符串內(nèi)容，與 name 參數(shù)的可選值一樣, text 參數(shù)接受 字符串 , 正則表達(dá)式 , 列表

# 匹配字符串
soup.find_all(text="a")

# 匹配正則
soup.find_all(text=re.compile("^b"))

# 匹配列表
soup.find_all(text=["p", "a"])

4. css選擇器

我們?cè)谑褂肂eautifulSoup解析庫(kù)時(shí)，經(jīng)常會(huì)結(jié)合CSS選擇器來(lái)提取數(shù)據(jù)。

注意：以下講解CSS選擇器只選擇標(biāo)簽，至于獲取屬性值和文本內(nèi)容我們后面再講。

1. 根據(jù)標(biāo)簽名查找：比如寫一個(gè) li 就會(huì)選擇所有l(wèi)i 標(biāo)簽, 不過(guò)我們一般不用，因?yàn)槲覀兌际蔷_到標(biāo)簽再提取數(shù)據(jù)的

from bs4 import BeautifulSoup

html = '''

    
        
Hello
    

    
        
            Foo
            Bar
            Jay
        
        
            Foo
                百度官網(wǎng)
            Bar
        
    

 
'''# 創(chuàng)建對(duì)象soup = BeautifulSoup(html, 'lxml')# 1. 根據(jù)標(biāo)簽名查找：查找li標(biāo)簽print(soup.select("li"))

輸出結(jié)果：

[Foo, Bar, Jay, Foo, Bar]

2. 根據(jù)類名class查找。.1ine, 即一個(gè)點(diǎn)加line，這個(gè)表達(dá)式選的是class= "line "的所有標(biāo)簽，".”代表class

print(soup.select(".panel_body"))

輸出結(jié)果：

Foo
Bar