一、網絡爬蟲
Python爬蟲開發工程師,從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。
網絡爬蟲(又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。網絡爬蟲另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。爬蟲就是自動遍歷一個網站的網頁，並把內容都下載下來.
搜索引擎與網絡爬蟲
二、通用性搜索引擎(通用爬蟲）
隨着網絡的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎（Search Engine），例如傳統的通用搜索引擎AltaVista，Yahoo！和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在着一定的局限性，如：
（1） 不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通用搜索引擎所返回的結果包含大量用戶不關心的網頁。
（2）通用搜索引擎的目標是盡可能大的網絡覆蓋率，有限的搜索引擎服務器資源與無限的網絡數據資源之間的矛盾將進一步加深。
（3）萬維網數據形式的豐富和網絡技術的不斷發展，圖片、數據庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。
（4）通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。
為了解決上述問題，定向抓取相關網頁資源的聚焦爬蟲應運而生。聚焦爬蟲是一個自動下載網頁的程序，它根據既定的抓取目標，有選擇的訪問萬維網上的網頁與相關的鏈接，獲取所需要的信息。與通用爬蟲（general？purpose web crawler）不同，聚焦爬蟲並不追求大的覆蓋，而將目標定為抓取與某一特定主題內容相關的網頁，為面向主題的用戶查詢准備數據資源。
三、聚焦爬蟲實例之爬取段子的爬蟲
以糗事百科為例子。
糗事百科是不需要登錄的，所以也沒必要用到Cookie，另外糗事百科有的段子是附圖的，我們把圖抓下來圖片不便於顯示，那么我們就嘗試過濾掉有圖的段子吧。
好，現在我們嘗試抓取一下糗事百科的熱門段子吧，每按下一次回車我們顯示一個段子。
1.確定URL並抓取頁面代碼
首先我們確定好頁面的URL是 http://www.qiushibaike.com/hot/page/1，其中最后一個數字1代表頁數，我們可以傳入不同的值來獲得某一頁的段子內容。
我們初步構建如下的代碼來打印頁面代碼內容試試看，先構造最基本的頁面抓取方式，看看會不會成功
\# -*- coding:utf-8 -*-
import urllib
import urllib2
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
try:
request = urllib2.Request(url)
response = urllib2.urlopen(request)
print response.read()
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
運行程序，哦不，它竟然報錯了，真是時運不濟，命途多舛啊
line 373, in _read_status raise BadStatusLine(line) httplib.BadStatusLine: ''
好吧，應該是headers驗證的問題，我們加上一個headers驗證試試看吧，將代碼修改如下
\# -*- coding:utf-8 -*-
import urllib
import urllib2
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)
print response.read()
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
嘿嘿，這次運行終於正常了，打印出了第一頁的HTML代碼，大家可以運行下代碼試試看。在這里運行結果太長就不貼了。
2.提取某一頁的所有段子
好，獲取了HTML代碼之后，我們開始分析怎樣獲取某一頁的所有段子。
首先我們審查元素看一下，按瀏覽器的F12，截圖如下
我們可以看到，每一個段子都是
content = response.read().decode('utf-8')
pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,content)
for item in items:
print item[0],item[1],item[2],item[3],item[4]
現在正則表達式在這里稍作說明
1. ? 是一個固定的搭配，.和代表可以匹配任意無限多個字符，加上？表示使用非貪婪模式進行匹配，也就是我們會盡可能短地做匹配，以后我們還會大量用到 .*? 的搭配。
2. (.?)代表一個分組，在這個正則表達式中我們匹配了五個分組，在后面的遍歷item中，item[0]就代表第一個(.?)所指代的內容，item[1]就代表第二個(.*?)所指代的內容，以此類推。
3. re.S 標志代表在匹配時為點任意匹配模式，點 . 也可以代表換行符。
這樣我們就獲取了發布人，發布時間，發布內容，附加圖片以及點贊數。
在這里注意一下，我們要獲取的內容如果是帶有圖片，直接輸出出來比較繁瑣，所以這里我們只獲取不帶圖片的段子就好了。
所以，在這里我們就需要對帶圖片的段子進行過濾。
我們可以發現，帶有圖片的段子會帶有類似下面的代碼，而不帶圖片的則沒有，所以，我們的正則表達式的item[3]就是獲取了下面的內容，如果不帶圖片，item[3]獲取的內容便是空。
<div class="thumb"> <a href="/article/112061287?list=hot&s=4794990" target="_blank"> <img src="http://pic.qiushibaike.com/system/pictures/11206/112061287/medium/app112061287.jpg" alt="但他們依然樂觀"> </a> </div>
所以我們只需要判斷item[3]中是否含有img標簽就可以了。
好，我們再把上述代碼中的for循環改為下面的樣子
for item in items:
haveImg = re.search("img",item[3])
if not haveImg:
print item[0],item[1],item[2],item[4]
現在，整體的代碼如下
\# -*- coding:utf-8 -*-
import urllib
import urllib2
import re
page = 1
url = 'http://www.qiushibaike.com/hot/page/' + str(page)
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }
try:
request = urllib2.Request(url,headers = headers)
response = urllib2.urlopen(request)
content = response.read().decode('utf-8')
pattern = re.compile('<div.*?author">.*?<a.*?<img.*?>(.*?)</a>.*?<div.*?'+
'content">(.*?)<!--(.*?)-->.*?</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',re.S)
items = re.findall(pattern,content)
for item in items:
haveImg = re.search("img",item[3])
if not haveImg:
print item[0],item[1],item[2],item[4]
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reaso
運行一下看下效果:
這之中省去1千字。。。。。。
不要噴我，我給你們准備了最好的禮物：
尚學堂Python爬蟲實戰項目-如何爬取段子的視頻教程。
大家可以找可愛又美麗的Teacher 唐 獲取下載地址吧！
她的扣扣是2056217415 ，，17301781330