1. 網站爬蟲限制默認在心中
   robots.txt

   

   成都創新互聯是專業的安陸網站建設公司，安陸接單;提供成都網站設計、網站建設,網頁設計,網站設計,建網站,PHP網站建設等專業做網站服務;采用PHP框架,可快速的進行安陸網站開發網頁制作和功能擴展;專業做搜索引擎喜愛的網站,專業的做網站團隊,希望更多企業前來合作!

2. 爬一個網站怎么預測爬的量
   
   

3. 每個網站都使用各種各樣的技術，怎么確定網站使用的技術
   pip install builtwith

    >>> import builtwith

    >>> builtwith.parse('http://www.douban.com')

   {u'javascript-frameworks': [u'jQuery'], u'tag-managers': [u'Google Tag Manager'], u'analytics': [u'Piwik']}

4. #網站的所屬者
   pip install python-whois
   >>> print whois.whois('cnblogs.com')
   {
     "updated_date": [
       "2014-11-12 00:00:00", 
       "2014-11-12 01:07:15"
     ], 
     "status": [
       "clientDeleteProhibited https://icann.org/epp#clientDeleteProhibited", 
       "clientTransferProhibited https://icann.org/epp#clientTransferProhibited"
     ], 
     "name": "du yong", 
     "dnssec": "unsigned", 
     "city": "Shanghai", 
     "expiration_date": [
       "2021-11-12 00:00:00", 
       "2021-11-11 04:00:00"
     ], 
     "zipcode": "201203", 
     "domain_name": [
       "CNBLOGS.COM", 
       "cnblogs.com"
     ], 
     "country": "CN", 
     "whois_server": "whois.35.com", 
     "state": "Shanghai", 
     "registrar": "35 Technology Co., Ltd.", 
     "referral_url": "http://www.35.com", 
     "address": "Room 312, No.22 BOXIA Rd, Pudong New District", 
     "name_servers": [
       "NS3.DNSV4.COM", 
       "NS4.DNSV4.COM", 
       "ns3.dnsv4.com", 
       "ns4.dnsv4.com"
     ], 
     "org": "Shanghai Yucheng Information Technology Co. Ltd.", 
     "creation_date": [
       "2003-11-12 00:00:00", 
       "2003-11-11 04:00:00"
     ], 
     "emails": [
       "abuse@35.cn", 
       "dudu.yz@gmail.com"
     ]
   }

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享文章：關于web爬蟲的tips-創新互聯
鏈接分享：http://www.yijiale78.com/article20/hhdco.html

成都網站建設公司_創新互聯，為您提供品牌網站設計、App開發、網站導航、網站建設、軟件開發、品牌網站制作

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯