創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務(wù)器提供商，新人活動買多久送多久，劃算不套路！
小編給大家分享一下Python爬蟲入門的基本原理是什么，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
爬蟲簡介
網(wǎng)絡(luò)爬蟲（Web crawler），是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本，它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站，可以自動采集所有其能夠訪問到的頁面內(nèi)容，以獲取或更新這些網(wǎng)站的內(nèi)容和檢索方式。從功能上來講，爬蟲一般分為數(shù)據(jù)采集，處理，儲存三個部分。傳統(tǒng)爬蟲從一個或若干初始網(wǎng)頁的URL開始，獲得初始網(wǎng)頁上的URL，在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的URL放入隊列,直到滿足系統(tǒng)的一定停止條件。聚焦爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它將根據(jù)一定的搜索策略從隊列中選擇下一步要抓取的網(wǎng)頁URL，并重復(fù)上述過程，直到達到系統(tǒng)的某一條件時停止。另外，所有被爬蟲抓取的網(wǎng)頁將會被系統(tǒng)存貯，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；對于聚焦爬蟲來說，這一過程所得到的分析結(jié)果還可能對以后的抓取過程給出反饋和指導(dǎo)。
爬蟲原理
Web網(wǎng)絡(luò)爬蟲系統(tǒng)的功能是下載網(wǎng)頁數(shù)據(jù)，為搜索引擎系統(tǒng)提供數(shù)據(jù)來源。很多大型的網(wǎng)絡(luò)搜索引擎系統(tǒng)都被稱為基于 Web數(shù)據(jù)采集的搜索引擎系統(tǒng)，比如 Google、Baidu。由此可見Web 網(wǎng)絡(luò)爬蟲系統(tǒng)在搜索引擎中的重要性。網(wǎng)頁中除了包含供用戶閱讀的文字信息外，還包含一些超鏈接信息。Web網(wǎng)絡(luò)爬蟲系統(tǒng)正是通過網(wǎng)頁中的超連接信息不斷獲得網(wǎng)絡(luò)上的其它網(wǎng)頁。正是因為這種采集過程像一個爬蟲或者蜘蛛在網(wǎng)絡(luò)上漫游，所以它才被稱為網(wǎng)絡(luò)爬蟲系統(tǒng)或者網(wǎng)絡(luò)蜘蛛系統(tǒng)，在英文中稱為Spider或者Crawler。
爬蟲基本流程
發(fā)起請求：通過HTTP庫向目標站點發(fā)起請求，即發(fā)送一個Request，請求可以包含額外的headers等信息，等待服務(wù)器響應(yīng)。
獲取響應(yīng)內(nèi)容：如果服務(wù)器能正常響應(yīng)，會得到一個Response，Response的內(nèi)容便是所要獲取的頁面內(nèi)容，類型可能有HTML，Json字符串，二進制數(shù)據(jù)（如圖片視頻）等類型。
解析內(nèi)容：得到的內(nèi)容可能是HTML，可以用正則表達式、網(wǎng)頁解析庫進行解析?？赡苁荍son，可以直接轉(zhuǎn)為Json對象解析，可能是二進制數(shù)據(jù)，可以做保存或者進一步的處理。
保存數(shù)據(jù)：保存形式多樣，可以存為文本，也可以保存至數(shù)據(jù)庫，或者保存特定格式的文件。
Request和Response
Request：瀏覽器就發(fā)送消息給該網(wǎng)址所在的服務(wù)器，這個過程叫做HTTP Request。
Response:服務(wù)器收到瀏覽器發(fā)送的消息后，能夠根據(jù)瀏覽器發(fā)送消息的內(nèi)容，做相應(yīng)處理，然后把消息回傳給瀏覽器。這個過程叫做HTTP Response。瀏覽器收到服務(wù)器的Response信息后，會對信息進行相應(yīng)處理，然后展示。
Request詳解
請求方式：主要有GET、POST兩種類型，另外還有HEAD、PUT、DELETE、OPTIONS等。
請求URL：URL全稱統(tǒng)一資源定位符，如一個網(wǎng)頁文檔、一張圖片、一個視頻等都可以用URL唯一來確定。
請求頭：包含請求時的頭部信息，如User-Agent、Host、Cookies等信息。
請求體：請求時額外攜帶的數(shù)據(jù)如表單提交時的表單數(shù)據(jù)。
Response詳解
響應(yīng)狀態(tài)：有多種響應(yīng)狀態(tài)，如200代表成功、301跳轉(zhuǎn)、404找不到頁面、502服務(wù)器錯誤。
響應(yīng)頭：如內(nèi)容類型、內(nèi)容長度、服務(wù)器信息、設(shè)置Cookie等等。
響應(yīng)體：最主要的部分，包含了請求資源的內(nèi)容，如網(wǎng)頁HTML、圖片二進制數(shù)據(jù)等。
能抓取哪些數(shù)據(jù)
網(wǎng)頁文本:如HTML文檔、Json格式文本等。
圖片:獲取到的是二進制文件，保存為圖片格式。
視頻:同為二進制文件，保存為視頻格式即可。
And so on:只要是能請求到的，都能獲取。
解析方式
直接處理
Json解析
正則表達式
BeautifulSoup
PyQuery
XPath
抓取中出現(xiàn)的問題
問：為什么我抓到的和瀏覽器看到的不一樣？
答：網(wǎng)頁通過瀏覽器的解析，加載CSS與JS等文件對網(wǎng)頁進行解析渲染，達到我們看到絢麗的網(wǎng)頁，而我們抓到的文件只是一些代碼，css文件無法調(diào)用，使得樣式不能表現(xiàn)出來，那么網(wǎng)頁就會出現(xiàn)錯位等等問題。
問：怎樣解決JavaScript渲染的問題？
答：分析Ajax請求、Selenium/WebDriver、Splash、PyV8、Ghost.py等庫
保存數(shù)據(jù)
文本：純文本、Json、Xml等。
關(guān)系型數(shù)據(jù)庫：如MySQL、Oracle、SQL Server等具有結(jié)構(gòu)化表結(jié)構(gòu)形式存儲。
非關(guān)系型數(shù)據(jù)庫：如MongoDB、Redis等Key-Value形式存儲。
二進制文件：如圖片、視頻、音頻等等直接保存成特定格式即可。
以上是Python爬蟲入門的基本原理是什么的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道！
重慶分公司
重慶分公司
