爬蟲：
網絡爬蟲是捜索引擎抓取系統（Baidu、Google等）的重要組成部分。主要目的是將互聯網上的網頁下載到本地，形成一個互聯網內容的鏡像備份。
步驟：
第一步：獲取網頁鏈接
1.觀察需要爬取的多網頁的變化規律，基本上都是只有小部分有所變化，如：有的網頁只有網址最后的數字在變化，則這種就可以通過變化數字將多個網頁鏈接獲取；
2.把獲取得到的多個網頁鏈接存入字典，充當一個臨時數據庫，在需要用時直接通過函數調用即可獲得；
3.需要注意的是我們的爬取並不是隨便什么網址都可以爬的，我們需要遵守我們的爬蟲協議，很多網站我們都是不能隨便爬取的。如：淘寶網、騰訊網等；
4.面對爬蟲時代，各個網站基本上都設置了相應的反爬蟲機制，當我們遇到拒絕訪問錯誤提示404時，可通過獲取User-Agent 來將自己的爬蟲程序偽裝成由人親自來完成的信息的獲取，而非一個程序進而來實現網頁內容的獲取。
第二步：數據存儲
1.爬蟲爬取到的網頁，將數據存入原始頁面數據庫。其中的頁面數據與用戶瀏覽器得到的HTML是完全一樣的；
2.引擎在抓取頁面時，會做一定的重復內容檢測，一旦遇到訪問權重很低的網站上有大量抄襲、采集或者復制的內容，很可能就不再爬行；
3.數據存儲可以有很多方式，我們可以存入本地數據庫也可以存入臨時移動數據庫，還可以存入txt文件或csv文件，總之形式是多種多樣的；
第三步：預處理（數據清洗）
1.當我們將數據獲取到時，通常有些數據會十分的雜亂，有許多必須要的空格和一些標簽等，這時我們要將數據中的不需要的東西給去掉，去提高數據的美觀和可利用性；
2.也可利用我們的軟件實現可視化模型數據，來直觀的看到數據內容；
第四步：數據利用
我們可以把爬取的數據作為一種市場的調研，從而節約人力資源的浪費，還能多方位進行對比實現利益及可以需求的最大化滿足。
小結：
python可以用來爬數據，但是python不是專門用來做爬蟲的，Python可以做很多事情。它在做爬蟲方面有一定的優勢，它寫起來比較方便，簡潔，爬取速度快，處理cookie，驗證碼等等爬蟲常見問題也方便，是一門很有價值的語言。