兩種爬蟲模式比較：
1、requests和beautifulsoup都是庫，scrapy是框架。
2、scrapy框架中可以加入requests和beautifulsoup。
3、scrapy基於twisted，性能是最大的優勢。
4、scrapy方便擴展，提供了很多內置的功能。
5、scrapy內置的css和xpath selector非常方便，beautifulsoup最大的缺點就是慢。
爬蟲能做什么？
1、搜索引擎---百度、谷歌、垂直搜索引擎。
2、推薦引擎---今日頭條
3、機器學習數據樣本
5、數據分析（如金融數據分析）、輿情分析等。
網頁分類：
常見類型的服務：
1、靜態網頁
2、動態網頁
3、webservice（restapi）