道友問我的一個(gè)問題，之前確實(shí)沒遇見過，在此記錄一下。

在鼓樓等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作 網(wǎng)站設(shè)計(jì)制作按需定制設(shè)計(jì),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站建設(shè),成都營銷網(wǎng)站建設(shè),成都外貿(mào)網(wǎng)站制作,鼓樓網(wǎng)站建設(shè)費(fèi)用合理。

問題描述

在某網(wǎng)站主頁提取url進(jìn)行迭代，爬蟲請求主頁時(shí)沒有問題，返回正常，但是在訪問在主頁提取到的url時(shí)出現(xiàn)了400狀態(tài)碼(400 Bad Request)。

結(jié)論

先貼出結(jié)論來，如果url里有空格的話，要把空格替換成%20，也就是url編碼，否則就會出現(xiàn)400。

解決過程

首先百度了一下400狀態(tài)碼什么意思：

400頁面是當(dāng)用戶在打開網(wǎng)頁時(shí)，返回給用戶界面帶有400提示符的頁面。其含義是你訪問的頁面域名不存在或者請求錯誤。

主要有兩種形式：

1、bad request意思是“錯誤的請求”；

2、invalid hostname意思是”不存在的域名”。

所以說問題應(yīng)該是出在了url上，我懷疑是他的url提取邏輯有問題，于是讓他把url打印一下看看，他說看不出什么問題。

然后我就把他代碼要了過來，自己調(diào)調(diào)試試，發(fā)現(xiàn)前幾個(gè)子url是訪問正常的，但是其中一個(gè)出現(xiàn)了400，那個(gè)url如下：

http://www.qichacha.com/company_getinfos?unique=4d5ad1bc15ddc4ad9873e5b0ff4f93d3&companyname=意大利C.D.VIDEO S.P.A.深圳代表處&tab=base

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站名稱：基于python爬蟲爬到含空格的url的處理方法-創(chuàng)新互聯(lián)
網(wǎng)站網(wǎng)址：http://weahome.cn/article/jdcss.html