這是我的公眾號獲取原創保護的首篇文章，原創的肯定將支持我繼續前行。現在寫這篇文章的時間是晚上11:30，寫完就回寢室休息了，希望更多的朋友與我一起同行(當然需要一個善良的妹子的救濟)。（我的新書《Python爬蟲開發與項目實戰》出版了，大家可以看一下樣章）
好了，廢話不多說，咱們進入今天的主題。上一篇咱們講解了代理ip上篇，本篇咱們繼續講解代理ip。這一篇是上一篇的擴展和優化，主要的改動是使用scrapy來進行爬取代理ip，同時演示在scrapy框架中怎么使用mongodb數據庫，最后使用多線程批量驗證代理ip的合理性，大大加快了速度。
這次我選擇的依然是http://www.xicidaili.com/nn/，我之后打算做一個大的代理ip池，方便之后做分布式爬蟲。
使用firebug審查元素，查看如何解析html，上一篇我已經講過了，所以就不詳細說了，大家不明白的可以看看代理ip上篇。
下面咱們可以寫代碼了，由於咱們使用的是scrapy框架進行爬取，所以首先先生成scrapy工程，在cmd中 輸入scrapy startproject proxySpider_scrapy，然后使用pycharm打開。
工程結構如下:
db包中db_helper:實現的是mongodb的增刪改查。和代理ip上篇增加了proxyId字段。
detect包中 detect_proxy:驗證代理ip的可用性的線程
detect_manager: 用來管理驗證線程，監控線程狀態
spiders包中 proxySpider:主要實現爬蟲的邏輯和html解析
items:主要是描述了ip和port
pipelines:里面主要是將爬取到的ip和port存儲到數據庫中
main:主要是完成參數的判斷和爬蟲的啟動(咱們使用腳本來啟動爬蟲不使用命令行)
還要說一下檢測：我是用 http://ip.chinaz.com/getip.aspx作為檢測網址，只要使用代理訪問不超時，而且響應碼為200，咱們就認為是成功的代理。
接下來運行程序看看效果:
在windows下切換到工程目錄，運行python main.py -h，會看到我定義的使用說明和參數設置。和上一篇基本上完全一樣。
接着運行python main.py -c 1 5 (意思是爬取1-5頁的ip地址)：
這時候如果想驗證ip的正確性:運行python main.py -t db
使用多線程驗證的速度非常快，我設置了5個線程。兩分鍾不到，就驗證結束。124個ip是可以使用的。
看一下mongodb數據庫：
大家注意到那個proxyId字段了嗎？這個在我們進行多線程分段驗證的時候是很有用的。詳細的使用，請看代碼。
當咱們下一篇講解突破反爬蟲的時候就可以使用這些ip了。
下面把解析和驗證的代碼貼一下:
proxySpider.py:
#coding:utf-8
import scrapy
from proxySpider_scrapy.db.db_helper import DB_Helper
from proxySpider_scrapy.detect.detect_proxy import Detect_Proxy
from proxySpider_scrapy.detect.detect_manager import Detect_Manager
from proxySpider_scrapy.items import ProxyItem
'''
這個類的作用是將代理數據進行爬取
'''
class ProxySpider(scrapy.Spider):
name = 'proxy'
start_urls = ["http://www.xicidaili.com/nn/"]
allowed_domains = []
db_helper = DB_Helper()
detecter = Detect_Manager(5)
Page_Start = 1
Page_End = 4
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'Referer':'http://www.xicidaili.com/'
}
def parse(self, response):
'''
解析出其中的ip和端口
:param response:
:return:
'''
trs = response.xpath('//tr[@class="odd" or @class=""]')
for tr in trs:
item = ProxyItem()
tds = tr.xpath('./td/text()').extract()
for td in tds:
content = td.strip()
if len(content)>0:
if content.isdigit():
item['port'] = content
print 'ip:',item['ip']
print 'port:',item['port']
break
if content.find('.')!= -1:
item['ip'] = content
yield item
if self.Page_Start < self.Page_End:
new_url = self.start_urls[0]+str(self.Page_Start)
self.Page_Start += 1
yield scrapy.Request(new_url,headers=self.headers,callback=self.parse)
pipelines.py:
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
from proxySpider_scrapy.spiders.proxySpider import ProxySpider
class ProxyPipeline(object):
proxyId = 1 #設置一個ID號，方便多線程驗證
def process_item(self, item, spider):
'''
:param item:
:param spider:
:return:
'''
if spider.name == 'proxy':#需要判斷是哪個爬蟲
proxySpider = ProxySpider(spider)
proxy = {'ip':item['ip'],'port':item['port']}
proxy_all = {'ip':item['ip'],'port':item['port'],'proxyId':self.proxyId}
if proxySpider.db_helper.insert(proxy,proxy_all) == True:#插入數據
self.proxyId += 1
return item
else:
return item
detect_manager.py:
#coding:utf-8
from threading import Thread
import time
from proxySpider_scrapy.db.db_helper import DB_Helper
from proxySpider_scrapy.detect.detect_proxy import Detect_Proxy
'''
定義一個管理線程,來管理產生的線程
'''
class Detect_Manager(Thread):
def __init__(self,threadSum):
Thread.__init__(self)
sqldb = DB_Helper()#將序號重新恢復
sqldb.updateID()
self.pool =[]
for i in range(threadSum):
self.pool.append(Detect_Proxy(DB_Helper(),i+1,threadSum))
def run(self):
self.startManager()
self.checkState()
def startManager(self):
for thread in self.pool:
thread.start()
def checkState(self):
'''
這個函數是用來檢測線程的狀態
:return:
'''
now = 0
while now < len(self.pool):
for thread in self.pool:
if thread.isAlive():
now = 0
break
else:
now+=1
time.sleep(0.1)
goodNum=0
badNum =0
for i in self.pool:
goodNum += i.goodNum
badNum += i.badNum
sqldb = DB_Helper()#將序號重新恢復
sqldb.updateID()
print 'proxy good Num ---',goodNum
print 'proxy bad Num ---',badNum
detect_proxy.py:
#coding:utf-8
import socket
from threading import Thread
import urllib
'''
這個類主要是用來檢測代理的可用性
'''
class Detect_Proxy(Thread):
url = 'http://ip.chinaz.com/getip.aspx'
def __init__(self,db_helper,part,sum):
Thread.__init__(self)
self.db_helper = db_helper
self.part = part#檢測的分區
self.sum = sum#檢索的總區域
self.counts = self.db_helper.proxys.count()
socket.setdefaulttimeout(2)
self.__goodNum = 0
self.__badNum = 0
@property
def goodNum(self):
return self.__goodNum
@goodNum.setter
def goodNum(self,value):
self.__goodNum = value
@property
def badNum(self):
return self.__badNum
@badNum.setter
def badNum(self,value):
self.__badNum = value
def run(self):
self.detect()#開始檢測
def detect(self):
'''
http://ip.chinaz.com/getip.aspx 作為檢測目標
:return:
'''
if self.counts < self.sum:
return
pre = self.counts/self.sum
start = pre * (self.part-1)
end = pre * self.part
if self.part == self.sum:#如果是最后一部分，結束就是末尾
end = self.counts
# print 'pre-%d-start-%d-end-%d'%(pre,start,end)
proxys = self.db_helper.proxys.find({'proxyId':{'$gt':start,'$lte':end}})#大於start小於等於end,很重要
for proxy in proxys:
ip = proxy['ip']
port = proxy['port']
try:
proxy_host ="http://ha:ha@"+ip+':'+port #隨便添加了賬戶名和密碼，只是為了防止填寫賬戶名密碼暫停的情況
response = urllib.urlopen(self.url,proxies={"http":proxy_host})
if response.getcode()!=200:
self.db_helper.delete({'ip':ip,'port':port})
self.__badNum += 1
print proxy_host,'bad proxy'
else:
self.__goodNum += 1
print proxy_host,'success proxy'
except Exception,e:
print proxy_host,'bad proxy'
self.db_helper.delete({'ip':ip,'port':port})
self.__badNum += 1
continue
完整的代碼我已經上傳到github上:
https://github.com/qiyeboy/proxySpider_scrapy
今天的分享就到這里，已經晚上12:15了，如果大家覺得還可以呀，請繼續支持我。提前透露一下，下一篇會講解突破反爬蟲。
歡迎大家支持我公眾號:
本文章屬於原創作品,歡迎大家轉載分享。尊重原創,轉載請注明來自:七夜的故事 http://www.cnblogs.com/qiyeboy/