爬蟲系列

爬蟲技術的奧秘

　　爬蟲技術的牛逼體現的不一定是要會多少爬蟲技術手段，而是你掌握了多少種破解策略，而面試時與面試官交流的是目標網站的反爬策略。 你是如何一步一步破解的，講解破解的思路。一個牛逼的爬蟲開發者是如何養成？每天都爬一到兩個網站，無論這個網站大還是小，每天都堅持爬取，然后總結，整理反爬策略。這些都會成為你面試的武器。

本文目錄

• 一 爬蟲基本原理
  
• 二 Requests請求庫
  
• 三 Selenium請求庫
  
• 四 BeautifulSoup解析庫
  
• 五 Xpath解析庫
  
• 六 requests-html
  
• 七 MongoDB數據庫
  
• 八 Redis數據庫
  
• 九 高性能爬蟲
  
• 十 Scrapy爬蟲框架1
  
• 十一 Scrapy爬蟲框架2
  
• 十二 分布式爬蟲
  
• 十三 HayStack全文檢索
  
• 十四 Celery異步任務
  
• 十五 爬取優酷VIP視頻
  
• 十六 Scrapy項目實戰