【scrapy】使用方法概要（三）(轉)

請初學者作為參考，不建議高手看這個浪費時間】

 

前兩篇大概講述了scrapy的安裝及工作流程。這篇文章主要以一個實例來介紹scrapy的開發流程，本想以教程自帶的dirbot作為例子，但感覺大家應該最先都嘗試過這個示例，應該都很熟悉，這里不贅述，所以，將用筆者自己第一個較為完整的抓取程序作為示例作為講解。

 

首先，要大規模抓取一個網站的內容，必要的資源便是代理ip這一資源，如果不使用代理ip，又追求抓取的速度，很可能會被被抓網站發現行蹤並封掉抓取機，所以抓取大量可用的代理ip便是我們第一個任務。

大概這個爬蟲要實現以下三個功能：

1. 抓取代理ip，端口信息

2. 驗證代理ip，判斷其透明性

3. 將可用的代理ip持久化到文件中以供后續抓取程序使用

 

http://www.cnproxy.com/ 代理服務器網便是一個很好的代理ip的來源，簡單看一下，共有12個頁面，頁面格式相同:

http://www.cnproxy.com/proxy1.html

…

http://www.cnproxy.com/proxy10.html

 

http://www.cnproxy.com/proxyedu1.html

http://www.cnproxy.com/proxyedu2.html

 

准備就緒，下面正式開始：

1. 定義item，根據需求，抓取的item最后應該包含如下信息才好用：

#前4個數據為頁面可以直接獲取的

ip地址

端口

協議類型

地理位置

#后三個數據為pipeline中后期得到的數據，很有用

代理類型

延遲

時間戳

所以定義代碼如下：

# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/topics/items.html

from scrapy.item import Item, Field

class ProxyItem(Item):
    address   = Field()
    port      = Field()
    protocol  = Field()
    location  = Field()

    type      = Field() # 0: anonymity #1 nonanonymity
    delay     = Field() # in second
    timestamp = Field()

 

2. 定義爬蟲

爬蟲中做的主要工作就是設置初始化urls，即【種子】，【可不是那種種子~是這種種子~】

然后在默認的parse函數中使用xpath可以輕松的獲得所需要的字段，比如

addresses = hxs.select('//tr[position()>1]/td[position()=1]').re('\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}')

可以獲得ip信息的數組

locations = hxs.select('//tr[position()>1]/td[position()=4]').re('<td>(.*)<\/td>')

可以獲得地理位置信息的數組

 

唯一有點麻煩的就是端口信息，網站站長可能想到數據會被抓取的可能，所以端口的輸出使用了js輸出，這確實增加了抓取的難度，scrapy和一般的爬蟲是不具備瀏覽器的javascript解釋器的，也不會執行這些js代碼，所以，爬蟲拿到的html代碼中的端口號好沒有被輸出出來~

源碼是這個樣子

所以，一定在html的上部，會有這些‘r’的定義，不難發現

經過幾次刷新，發現這些定義並不是動態的，所以就簡單些，直接拿到代碼中的+r+d+r+d信息，將+號替換為空，將r替換成8，d替換成0即可，所以可以聲明下邊這樣的一個map

port_map = {'z':'3','m':'4','k':'2','l':'9','d':'0','b':'5','i':'7','w':'6','r':'8','c':'1','+':''}

具體的爬蟲代碼如下

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from proxy.items import ProxyItem
import re

class ProxycrawlerSpider(CrawlSpider):
    name = 'cnproxy'
    allowed_domains = ['www.cnproxy.com']
    indexes    = [1,2,3,4,5,6,7,8,9,10]
    start_urls = []
    for i in indexes:
        url = 'http://www.cnproxy.com/proxy%s.html' % i
        start_urls.append(url)
    start_urls.append('http://www.cnproxy.com/proxyedu1.html')
    start_urls.append('http://www.cnproxy.com/proxyedu2.html')

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        addresses = hxs.select('//tr[position()>1]/td[position()=1]').re('\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}')
        protocols = hxs.select('//tr[position()>1]/td[position()=2]').re('<td>(.*)<\/td>')
        locations = hxs.select('//tr[position()>1]/td[position()=4]').re('<td>(.*)<\/td>')
        ports_re  = re.compile('write\(":"(.*)\)')
        raw_ports = ports_re.findall(response.body);
        port_map = {'z':'3','m':'4','k':'2','l':'9','d':'0','b':'5','i':'7','w':'6','r':'8','c':'1','+':''}
        ports     = []
        for port in raw_ports:
            tmp = port
            for key  in port_map:
                tmp = tmp.replace(key, port_map[key]);
            ports.append(tmp)
        items = []
        for i in range(len(addresses)):
            item = ProxyItem()
            item['address']  = addresses[i]
            item['protocol'] = protocols[i]
            item['location'] = locations[i]
            item['port']     = ports[i]
            items.append(item)
        return items
~

 

3. 執行pipeline，過濾並檢查抓取到的代理ip，並將其持久化到文件中

一般性的校驗過程我就不贅述了，直接介紹如果驗證代理可用性及透明性的方法。

這需要另一個cgi程序的幫助。簡單來說一個代理是否透明，就是在做中轉的時候是否會將源ip放到請求包中並能夠被被抓取方獲取，如果能，就說明這個代理不是透明的，使用的時候就要多留意。

一般非透明代理ip會將源ip放到HTTP_X_FORWARDED_FOR字段中，為了更嚴謹些，另一個cgi腳本將服務器能獲取到的所有跟ip有關的數據echo出來，php代碼如下：

<?php

    echo "PROXYDETECTATION</br>";
    echo "REMOTE_ADDR</br>";
    var_dump($_SERVER['REMOTE_ADDR']);
    echo "</br>";
    echo "env_REMOTE_ADDR</br>";
    var_dump(getenv('REMOTE_ADDR'));
    echo "</br>";
    echo "env_HTTP_CLIENT_IP</br>";
    var_dump(getenv('HTTP_CLIENT_IP'));
    echo "</br>";
    echo "HTTP_CLIENT_IP</br>";
    var_dump($_SERVER['HTTP_CLIENT_IP']);
    echo "</br>";
    echo "HTTP_X_FORWARDED_FOR</br>";
    var_dump($_SERVER['HTTP_X_FORWARDED_FOR']);
    echo "</br>";
    echo "HTTP_X_FORWARDED</br>";
    var_dump($_SERVER['HTTP_X_FORWARDED']);
    echo "</br>";
    echo "HTTP_X_CLUSTER_CLIENT_IP</br>";
    var_dump($_SERVER['HTTP_X_CLUSTER_CLIENT_IP']);
    echo "</br>";
    echo "HTTP_FORWARDED_FOR</br>";
    var_dump($_SERVER['HTTP_FORWARDED_FOR']);
    echo "</br>";
    echo "HTTP_FORWARDED</br>";
    var_dump($_SERVER['HTTP_FORWARDED']);
    echo "</br>";

?>

 

假設這個服務地址為http://xxx.xxx.xxx.xxx/apps/proxydetect.php

那么pipelines的代碼如下

 

# Define your item pipelines here
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/topics/item-pipeline.html
from scrapy.exceptions import DropItem
import re
import urllib
import urllib2
import time
import exceptions
import socket
class ProxyPipeline(object):
    def process_item(self, item, spider):
        port = item['port']
        port_re = re.compile('\d{1,5}')
        ports   = port_re.findall(port)
        if len(ports) == 0:
            raise DropItem("can not find port in %s" % item['port'])
        else:
            item['port'] = ports[0]
        #profiling the proxy
        #detect_service_url = 'http://xxx.xxx.xxx.xxx:pppp/apps/proxydetect.php'
        detect_service_url = 'http://xxx.xxx.xxx.xxx/apps/proxydetect.php'
        local_ip           = 'xxx.xxx.xxx.xxx'
        proxy_  = str('http://%s:%s' % (str(item['address']), str(item['port'])))
        proxies = {'http':proxy_}
        begin_time = time.time()
        timeout = 1
        socket.setdefaulttimeout(timeout)
        try:
            data  = urllib.urlopen(detect_service_url, proxies=proxies).read()
        except exceptions.IOError:
            raise DropItem("curl download the proxy %s:%s is bad" % (item['address'],str(item['port'])))

        end_time   = time.time()
        if '' == data.strip():
            raise DropItem("data is null the proxy %s:%s is bad" % (item['address'],str(item['port'])))
        if data.find('PROXYDETECTATION') == -1:
            raise DropItem("wrong response the proxy %s:%s is bad" % (item['address'],str(item['port'])))
        if data.find('PROXYDETECTATION') != -1:
            if data.find(local_ip) == -1:
                item['type'] = 'anonymity'
            else:
                item['type'] = 'nonanonymity'
            item['delay'] = str(end_time - begin_time)
        item['timestamp'] = time.strftime('%Y-%m-%d',time.localtime(time.time()))

        #record the item info
        fp   = open('/home/xxx/services_runenv/crawlers/proxy/proxy/data/proxies.txt','a')
        line = str(item['timestamp']) + '\t' + str(item['address']) + '\t' + str(item['port']) + '\t' + item['type'] + '\t' + str(item['delay']) + '\n'
        fp.write(line)
        fp.close()
        return item

 

其中local_ip為抓取服務器本機的ip地址

4. 最后一個要說的就是setting.py配置文件，大家看具體代碼吧

# Scrapy settings for proxy project
#
# For simplicity, this file contains only the most important settings by
# default. All the other settings are documented here:
#
#     http://doc.scrapy.org/topics/settings.html
#

BOT_NAME = 'proxy'
BOT_VERSION = '1.0'

SPIDER_MODULES = ['proxy.spiders']
NEWSPIDER_MODULE = 'proxy.spiders'
USER_AGENT = '%s/%s' % (BOT_NAME, BOT_VERSION)

DOWNLOAD_DELAY = 0
DOWNLOAD_TIMEOUT = 30

ITEM_PIPELINES = [
    'proxy.pipelines.ProxyPipeline'
]
CONCURRENT_ITEMS = 100
CONCURRENT_REQUESTS_PER_SPIDER = 64
CONCURRENT_SPIDERS = 128

LOG_ENABLED = True
LOG_ENCODING = 'utf-8'
LOG_FILE = '/home/xxx/services_runenv/crawlers/proxy/proxy/log/proxy.log'
LOG_LEVEL = 'DEBUG'
LOG_STDOUT = False

 

 

 

最后秀一下抓取到的代理ip數據

 

好了，這篇就這些，下一篇將介紹如果使用代理ip作為媒介，放心的去大規模抓取網站數據，晚安。