這篇文章給大家分享的是有關python爬蟲urljoin()如何生成鏈接的內容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
嫩江網(wǎng)站建設公司創(chuàng)新互聯(lián)公司,嫩江網(wǎng)站設計制作,有大型網(wǎng)站制作公司豐富經驗。已為嫩江近千家提供企業(yè)網(wǎng)站建設服務。企業(yè)網(wǎng)站搭建\成都外貿網(wǎng)站制作要多少錢,請找那個售后服務好的嫩江做網(wǎng)站的公司定做!
urlunparse()和urlunsplit()方法,我們可以完成鏈接的合并,但前提是必須有一個特定長度的對象,鏈接的每個部分都應該清晰地分開。除此之外還有urljoin()方法。
1、urljoin()可以實現(xiàn)生成鏈接。提供base_url(基本鏈接)作為第一個參數(shù),以新鏈接作為第二個參數(shù)。
2、該方法將分析base_url的scheme、netloc和path,并補充新鏈接缺失的部分,最終返回結果。
實例
from urllib.parse import urljoin print(urljoin('http://www.baidu.com', 'FAQ.html')) print(urljoin('http://www.baidu.com', 'https://cuiqingcai.com/FAQ.html')) print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html')) print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html?question=2')) print(urljoin('http://www.baidu.com?wd=abc', 'https://cuiqingcai.com/index.php')) print(urljoin('http://www.baidu.com', '?category=2#comment')) print(urljoin('www.baidu.com', '?category=2#comment')) print(urljoin('www.baidu.com#comment', '?category=2'))
輸出
http://www.baidu.com/FAQ.html https://cuiqingcai.com/FAQ.html https://cuiqingcai.com/FAQ.html https://cuiqingcai.com/FAQ.html?question=2 https://cuiqingcai.com/index.php http://www.baidu.com?category=2#comment www.baidu.com?category=2#comment www.baidu.com?category=2
感謝各位的閱讀!關于“python爬蟲urljoin()如何生成鏈接”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!