爬蟲真是一件有意思的事兒啊，之前寫過爬蟲，用的是urllib2、BeautifulSoup實現簡單爬蟲，scrapy也有實現過。最近想更好的學習爬蟲，那么就盡可能的做記錄吧。這篇博客就我今天的一個學習過程寫寫吧。
一 正則表達式
正則表達式是一個很強大的工具了，眾多的語法規則，我在爬蟲中常用的有：
| . | 匹配任意字符（換行符除外） |
| * | 匹配前一個字符0或無限次 |
| ? | 匹配前一個字符0或1次 |
| .* | 貪心算法 |
| .*? | 非貪心算法 |
| （.*?) | 將匹配到的括號中的結果輸出 |
| \d | 匹配數字 |
| re.S | 使得.可以匹配換行符 |
常用的方法有：find_all()，search()，sub()
對以上語法方法做以練習，代碼見：https://github.com/Ben0825/Crawler/blob/master/re_test.py
二 urllib和urllib2
urllib和urllib2庫是學習Python爬蟲最基本的庫，利用該庫，我們可以得到網頁的內容，同時，可以結合正則對這些內容提取分析，得到真正想要的結果。
在此將urllib和urllib2結合正則爬取了糗事百科中的作者點贊數內容。
代碼見：https://github.com/Ben0825/Crawler/blob/master/qiubai_test.py
三 BeautifulSoup
BeautifulSoup是Python的一個庫，最主要的功能是從網頁抓取數據，官方介紹是這樣的：
Beautiful Soup 提供一些簡單的、python 式的函數用來處理導航、搜索、修改分析樹等功能。它是一個工具箱,通過解析文檔為用戶提供需要抓取的數據,因為簡單,所以不需要多少代碼就可以寫出一個完整的應用程序。
Beautiful Soup 自動將輸入文檔轉換為 Unicode 編碼,輸出文檔轉換為 utf-8 編碼。你不需要考慮編碼方式,除非文檔沒有指定一個編碼方式,這時,Beautiful Soup 就不能自動識別編碼方式了。然后,你僅僅需要說明一下原始編碼方式就可以了。
Beautiful Soup 已成為和 lxml、html6lib 一樣出色的 python 解釋器,為用戶靈活地提供不同的解析策略或強勁的速度。
首先：爬取百度百科Python詞條下相關的100個頁面，爬取的頁面值自己設定。
代碼詳見：https://github.com/Ben0825/Crawler/tree/master/python_baike_Spider
代碼運行：
鞏固篇，依據豆瓣中圖書的標簽得到一個書單，同樣使用BeautifulSoup。
代碼詳見：https://github.com/Ben0825/Crawler/blob/master/doubanTag.py
運行結果：
以上就是今天學習的一些內容，爬蟲真的很有意思啊，明天繼續學scrapy!