前段時間用過php寫過爬蟲，也抓取過很多的文章。可是每每查詢資料的時候，都說python最適合開發爬蟲應用，原因是python集成的爬蟲框架很強大。於是乎百度了一下，發現Scrapy非常的著名，於是決定在本地搭建一個Scrapy開發環境。早就聽說了python環境部署困難，於是我也給自己一個思想准備。於是百度教程，開始吧。
網上的教程雖多，但是發現我進行安裝的時候，總是出現這樣或者那樣的錯誤。一錯就是一大堆，實在是無語。再加上我還不懂這些插件具體的作用，更是無從下手去排查這些錯誤出現的具體原因。折騰了一上午，最終下載Scrapy，輸入命令，提示Scrapy不是內部命令。崩潰啊。。。。沒辦法，重新來吧。因為我的系統是64位的，我就安裝了64位的python應用，后來發現很多人建議使用32位的，說有些插件不支持64位，於是果斷卸載64位的，安裝32位的。好，現在從安裝python開始講起吧。
本人安裝的步驟，主要參考的文章是：http://www.cnblogs.com/pang1567/p/4168768.html，但我與他用的命令不同。
1、安裝python 2.7.12 win32 位
去python官網找到對應的版本，下載即可。安裝沒什么好說的，一路下一步，記住自己安裝的路徑，接下來需要配置path時用到。我安裝在F盤，路徑是:F:\Python27
以我的電腦為例 F:\Python27;F:\Python27\Scripts; 我將以上的兩個路徑加入 電腦的環境變量，這樣打開cmd，輸入命令 python，如下圖顯示即為安裝成功：
2、安裝 lxml
教程的第二步是安裝 setuptools，然而這工具在安裝python的時候，你只要勾選就會被安裝上，此處不需要再次的安裝。我們直接跳過安裝 lxml。安裝這個組件，你可以通過 命令：
pip install lxml
我本地通過這個命令，下載的非常的慢，而且又一次下載完成了，又報出這樣那樣的錯，真是崩潰，於是我找到了另外的替換辦法。先去下載
lxml-2.3-py2.7-win32.egg
在這個地址 ：http://pypi.python.org/pypi/lxml/2.3/ 記住你自己的版本，我選擇是 32位的，將其放到 python安裝的根目錄，打開cmd，進入安裝目錄，執行命令
easy_install ./lxml-2.3-py2.7-win32.egg
安裝完畢之后，在python命令下，執行
from lxml import etree
正確導入，即表示安裝成功！
3、安裝 zope.interface
我是通過命令：
pip install zope.interface
安裝成功的，當然了，你也可以去查詢有沒有集成的exe安裝包，這樣安裝更方便。
4、安裝 Twisted
直接去百度這個插件在windows下的.exe的安裝包，下載合適的版本，下載即可。我下載的是 Twisted-13.0.0.win32-py2.7.msi，你可以直接百度這個名字，下載即可。
用過如下命令驗證安裝的正確性：
from twisted.internet import reactor
5、安裝pyOpenSSL
你可以通過命令 ： pip install pyOpenSSL 我的依舊是老問題，下載太慢報錯。於是我查到了win下面對應的安裝包：pyOpenSSL-0.13.winxp32-py2.7.exe ，這個具體的對應的版本我還不是很清楚哪個好，貌似最新的都到16.x了，很多攻略上都說
這個0.13版本，我也用這個吧。驗證的命令：
import OpenSSL
6、安裝 pywin32
很多的攻略教你安裝這個，有的很煩。而且很雜亂。你直接百度 pywin32-218.win32-py2.7.exe，下載下來，一直下一步，就行了。驗證命令：
import win32com
到目前為止，Scrapy所需要的組件基本上安裝完畢了。這個時候，你可以安裝 Scrapy了。命令：
pip install Scrapy
如果你遇到了如下的錯誤：
error: Setup script exited with error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27
因為你本地沒有安裝 VS2008，高的版本不行，比如你安裝了 VS2012。但是VS2008真的很大，要3.xG這么大，網路不夠快的話，下的累死你。幸好，微軟為python單獨弄了一個VCForPython27.msi，安裝這個就行了，只有83M的大小。
安裝Scrapy完成之后,執行命令：
scrapy
看到如下頁面，那么恭喜你，成功了！
為了方便大家的安裝，我將我用的文件全部分享到了雲盤 ： http://pan.baidu.com/s/1c9ULXG