創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商,新人活動買多久送多久,劃算不套路!
創(chuàng)新互聯(lián)建站是一家網(wǎng)站設計公司,集創(chuàng)意、互聯(lián)網(wǎng)應用、軟件技術(shù)為一體的創(chuàng)意網(wǎng)站建設服務商,主營產(chǎn)品:成都響應式網(wǎng)站建設、品牌網(wǎng)站設計、全網(wǎng)營銷推廣。我們專注企業(yè)品牌在網(wǎng)站中的整體樹立,網(wǎng)絡互動的體驗,以及在手機等移動端的優(yōu)質(zhì)呈現(xiàn)。成都網(wǎng)站設計、成都做網(wǎng)站、移動互聯(lián)產(chǎn)品、網(wǎng)絡運營、VI設計、云產(chǎn)品.運維為核心業(yè)務。為用戶提供一站式解決方案,我們深知市場的競爭激烈,認真對待每位客戶,為客戶提供賞析悅目的作品,網(wǎng)站的價值服務。今天就跟大家聊聊有關(guān)如何安裝BS4庫,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結(jié)了以下內(nèi)容,希望大家根據(jù)這篇文章可以有所收獲。
Beautiful Soup 庫一般被稱為bs4庫,支持Python3,是我們寫爬蟲非常好的第三方庫。因用起來十分的簡便流暢。所以也被人叫做“美味湯”。目前bs4庫的最新版本是4.60。下文會介紹該庫的最基本的使用,具體詳細的細節(jié)還是要看:[官方文檔](Beautiful Soup Documentation)
bs4庫的安裝
Python的強大之處就在于他作為一個開源的語言,有著許多的開發(fā)者為之開發(fā)第三方庫,這樣我們開發(fā)者在想要實現(xiàn)某一個功能的時候,只要專心實現(xiàn)特定的功能,其他細節(jié)與基礎的部分都可以交給庫來做。bs4庫 就是我們寫爬蟲強有力的幫手。
安裝的方式非常簡單:我們用pip工具在命令行里進行安裝
pip install beautifulsoup4
接著我們看一下是否成功安裝了bs4庫
pip list
這樣我們就成功安裝了 bs4 庫
bs4庫的簡單使用
這里我們先簡單的講解一下bs4庫的使用,
暫時不去考慮如何從web上抓取網(wǎng)頁,
假設我們需要爬取的html是如下這么一段:
下面的一段HTML代碼將作為例子被多次用到.這是 愛麗絲夢游仙境的 的一段內(nèi)容(以后內(nèi)容中簡稱為 愛麗絲 的文檔):The Dormouse's story The Dormouse's story
Once upon a time there were three little sisters; and their names were http://example.com/elsie" class="sister" id="link1">Elsie, http://example.com/lacie" class="sister" id="link2">Lacie and http://example.com/tillie" class="sister" id="link3">Tillie; and they lived at the bottom of a well.
...
下面我們開始用bs4庫解析這一段html網(wǎng)頁代碼。
#導入bs4模塊 from bs4 import BeautifulSoup #做一個美味湯 soup = BeautifulSoup(html,'html.parser') #輸出結(jié)果 print(soup.prettify()) ''' OUT: # # ## The Dormouse's story # # # ## # The Dormouse's story # #
## Once upon a time there were three little sisters; and their names were # # Elsie # # , # # Lacie # # and # # Tillie # # ; and they lived at the bottom of a well. #
## ... #
# # '''
可以看到bs4庫將網(wǎng)頁文件變成了一個soup的類型,
事實上,bs4庫 是解析、遍歷、維護、“標簽樹“的功能庫。
通俗一點說就是: bs4庫把html源代碼重新進行了格式化,
從而方便我們對其中的節(jié)點、標簽、屬性等進行操作。
下面是幾個簡單的瀏覽結(jié)構(gòu)化數(shù)據(jù)的方式 :
請仔細觀察最前面的html文件
# 找到文檔的title soup.title #The Dormouse's story #title的name值 soup.title.name # u'title' #title中的字符串String soup.title.string # u'The Dormouse's story' #title的父親節(jié)點的name屬性 soup.title.parent.name # u'head' #文檔的第一個找到的段落 soup.p #The Dormouse's story
#找到的p的class屬性值 soup.p['class'] # u'title' #找到a標簽 soup.a # http://example.com/elsie" id="link1">Elsie #找到所有的a標簽 soup.find_all('a') # [http://example.com/elsie" id="link1">Elsie, # http://example.com/lacie" id="link2">Lacie, # http://example.com/tillie" id="link3">Tillie] #找到id值等于3的a標簽 soup.find(id="link3") # http://example.com/tillie" id="link3">Tillie
通過上面的例子 我們知道bs4庫是這樣理解一個html源文件的:
首先 把html源文件轉(zhuǎn)換為soup類型
接著 從中通過特定的方式抓取內(nèi)容
更高級點的用法?
從文檔中找到所有標簽的鏈接:
#發(fā)現(xiàn)了沒有,find_all方法返回的是一個可以迭代的列表for link in soup.find_all('a'): print(link.get('href')) # http://example.com/elsie # http://example.com/lacie # http://example.com/tillie
從文檔中獲取所有文字內(nèi)容:
#我們可以通過get_text 方法 快速得到源文件中的所有text內(nèi)容。 print(soup.get_text()) # The Dormouse's story # # The Dormouse's story # # Once upon a time there were three little sisters; and their names were # Elsie, # Lacie and # Tillie; # and they lived at the bottom of a well. # # ...
看完上述內(nèi)容,你們對如何安裝BS4庫有進一步的了解嗎?如果還想了解更多知識或者相關(guān)內(nèi)容,請關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司行業(yè)資訊頻道,感謝大家的支持。