1. 網(wǎng)站爬蟲限制默認(rèn)在心中
   robots.txt

   

   成都創(chuàng)新互聯(lián)是專業(yè)的安陸網(wǎng)站建設(shè)公司，安陸接單;提供成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè),網(wǎng)頁(yè)設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行安陸網(wǎng)站開發(fā)網(wǎng)頁(yè)制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來(lái)合作!

2. 爬一個(gè)網(wǎng)站怎么預(yù)測(cè)爬的量
   
   

3. 每個(gè)網(wǎng)站都使用各種各樣的技術(shù)，怎么確定網(wǎng)站使用的技術(shù)
   pip install builtwith

    >>> import builtwith

    >>> builtwith.parse('http://www.douban.com')

   {u'javascript-frameworks': [u'jQuery'], u'tag-managers': [u'Google Tag Manager'], u'analytics': [u'Piwik']}

4. #網(wǎng)站的所屬者
   pip install python-whois
   >>> print whois.whois('cnblogs.com')
   {
     "updated_date": [
       "2014-11-12 00:00:00", 
       "2014-11-12 01:07:15"
     ], 
     "status": [
       "clientDeleteProhibited https://icann.org/epp#clientDeleteProhibited", 
       "clientTransferProhibited https://icann.org/epp#clientTransferProhibited"
     ], 
     "name": "du yong", 
     "dnssec": "unsigned", 
     "city": "Shanghai", 
     "expiration_date": [
       "2021-11-12 00:00:00", 
       "2021-11-11 04:00:00"
     ], 
     "zipcode": "201203", 
     "domain_name": [
       "CNBLOGS.COM", 
       "cnblogs.com"
     ], 
     "country": "CN", 
     "whois_server": "whois.35.com", 
     "state": "Shanghai", 
     "registrar": "35 Technology Co., Ltd.", 
     "referral_url": "http://www.35.com", 
     "address": "Room 312, No.22 BOXIA Rd, Pudong New District", 
     "name_servers": [
       "NS3.DNSV4.COM", 
       "NS4.DNSV4.COM", 
       "ns3.dnsv4.com", 
       "ns4.dnsv4.com"
     ], 
     "org": "Shanghai Yucheng Information Technology Co. Ltd.", 
     "creation_date": [
       "2003-11-12 00:00:00", 
       "2003-11-11 04:00:00"
     ], 
     "emails": [
       "abuse@35.cn", 
       "dudu.yz@gmail.com"
     ]
   }

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。