Scrapy研究和探索（七）——如何防止被ban大集合策略

說來設置的嘗試download_delay少於1，不管對方是什么，以防止ban策略后。我終於成功ban該。

大約scrapy利用能看到以前的文章：

http://blog.csdn.net/u012150179/article/details/34913315

http://blog.csdn.net/u012150179/article/details/34486677

http://blog.csdn.net/u012150179/article/details/34441655

http://blog.csdn.net/u012150179/article/details/32911511

敵退我進，敵攻我擋。

本篇博客主要研究使用防止被ban的幾大策略以及在scrapy中的使用。

1.策略一：設置download_delay

這個在之前的教程中已經使用過（http://blog.csdn.net/u012150179/article/details/34913315），他的作用主要是設置下載的等待時間，大規模集中的訪問對server的影響最大，相當與短時間中增大server負載。

下載等待時間長，不能滿足段時間大規模抓取的要求，太短則大大添加了被ban的幾率。

使用注意：

download_delay能夠設置在settings.py中，也能夠在spider中設置，在之前博客中（http://blog.csdn.net/u012150179/article/details/34913315）已經使用過，這里不再過多闡述。

2.策略二：禁止cookies

所謂cookies，是指某些站點為了辨別用戶身份而儲存在用戶本地終端（Client Side）上的數據（通常經過加密）。禁止cookies也就防止了可能使用cookies識別爬蟲軌跡的站點得逞。

使用：

在settings.py中設置COOKIES_ENABLES=False。

也就是不啟用cookies middleware，不想web server發送cookies。

3.策略三：使用user agent池

所謂的user agent，是指包括瀏覽器信息、操作系統信息等的一個字符串，也稱之為一種特殊的網絡協議。server通過它推斷當前訪問對象是瀏覽器、郵件client還是網絡爬蟲。在request.headers能夠查看user agent。例如以下。使用scrapy shell查看：

scrapy shell http://blog.csdn.net/u012150179/article/details/34486677

進而輸入例如以下。可得到uesr agent信息：

由此得到,scrapy本身是使用Scrapy/0.22.2來表明自己身份的。這也就暴露了自己是爬蟲的信息。

使用：

首先編寫自己的UserAgentMiddle中間件，新建rotate_useragent.py,代碼例如以下：

# -*-coding:utf-8-*-

from scrapy import log

"""避免被ban策略之中的一個：使用useragent池。


使用注意：需在settings.py中進行對應的設置。

"""

import random
from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware

class RotateUserAgentMiddleware(UserAgentMiddleware):

    def __init__(self, user_agent=''):
        self.user_agent = user_agent

    def process_request(self, request, spider):
        ua = random.choice(self.user_agent_list)
        if ua:
            #顯示當前使用的useragent
            print "********Current UserAgent:%s************" %ua

            #記錄
            log.msg('Current UserAgent: '+ua, level='INFO')
            request.headers.setdefault('User-Agent', ua)

    #the default user_agent_list composes chrome,I E,firefox,Mozilla,opera,netscape
    #for more user agent strings,you can find it in http://www.useragentstring.com/pages/useragentstring.php
    user_agent_list = [\
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 "
        "(KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 "
        "(KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 "
        "(KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 "
        "(KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 "
        "(KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 "
        "(KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 "
        "(KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 "
        "(KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 "
        "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 "
        "(KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
       ]

建立user agent池（user_agent_list）並在每次發送request之前從agent池中隨機選取一項設置request的User_Agent。

編寫的UserAgent中間件的基類為UserAgentMiddle。

除此之外。要在settings.py(配置文件)中禁用默認的useragent並啟用又一次實現的User Agent。配置方法例如以下：

#取消默認的useragent,使用新的useragent
DOWNLOADER_MIDDLEWARES = {
        'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,
        'CSDNBlogCrawlSpider.spiders.rotate_useragent.RotateUserAgentMiddleware' :400
    }

至此配置完成。

如今能夠執行看下效果。

能夠發現一直在變化的UserAgent。

4.策略四：使用IP池

web server應對爬蟲的策略之中的一個就是直接將你的IP或者是整個IP段都封掉禁止訪問，這時候，當IP封掉后。轉換到其它的IP繼續訪問就可以。

能夠使用Scrapy+Tor+polipo

配置方法與使用教程可參見：http://pkmishra.github.io/blog/2013/03/18/how-to-run-scrapy-with-TOR-and-multiple-browser-agents-part-1-mac/。有時間我會翻譯過來。

5.策略五：分布式爬取

這個，內容就很多其它了，針對scrapy。也有相關的針對分布式爬取的GitHub repo。

能夠搜一下。

原創，轉載請注明：http://blog.csdn.net/u012150179/article/details/35774323

版權聲明：本文博客原創文章，博客，未經同意，不得轉載。