Win7下python Scrapy一站式搭建全攻略(內附相關下載鏈接)


 

寫在前面:

      好久沒有登錄博客了,意外看到之前的幾篇文章都有不錯的閱讀量,開心極了,不過沒有什么點贊和評論,大概是沒有給大家帶來什么切實的幫助吧。o(*////▽////*)q。

      最近在NTU負責一個國家研究基金委支持的智能城市交通的項目,第一步就是獲取道路交通各種信息,收集分析數據。因為各種原因這次選擇了Scrapy這個框架,也是我自己第一次接觸python爬蟲,圓滿完成需求數據爬取之后,我在四台電腦上搭建了Scrapy環境,遇到了各種各樣的問題,借此寫一篇總結,也希望能夠給大家提供一絲絲的幫助,更希望能幫助大家,流暢的搭建完成。

 

———————————————————————————————————————————————————————————

 

一、安裝python

根據自己的需求,到官網下載適合自己電腦的版本,https://www.python.org/downloads/,這里我選擇的是較為穩定的2.7版本

鏈接: http://pan.baidu.com/s/1i5hZPS5%20 密碼: e6qi

安裝過程十分簡單,除了選擇路徑,一路next到底即可。完成之后,別忘將python添加到環境變量里。

 

點擊“我的電腦”右鍵“屬性”,進入到如下界面,左上角選擇“高級系統設置”:

彈出一個對話框,在對話框里找到並選擇“環境變量”選項,進入之后,下方找到“path”,之后編輯,用 ; 隔開,插入安裝python的文件路徑,這里為了之后安裝方便,也將python下的script路徑給添加進來。

 

                          

 

添加到環境變量之后,打開命令行,輸入,python,如果出現如下界面則安裝成功,如果顯示不是內部外部命令,回去檢查環境變量設置環節。很大可能是誤輸入中文輸入法之下的;檢查一遍,修改之后,重啟命令行再輸入一遍。

 

 

二、安裝pywin32

在Windows下,必須安裝pywin32,下載地址:https://sourceforge.net/projects/pywin32/,鏈接: http://pan.baidu.com/s/1hsmL92W 密碼: 3qnf

安裝過程也很簡單,一路next到底,安裝完畢之后在命令行先輸入python,之后輸入import win32com驗證:QQ截圖20150211171713   

如圖所示,如果沒有提示錯誤,則證明安裝成功,如果錯誤就再來一遍,這個步驟一般不會出現問題。

 

三、安裝pip

pip是一個安裝和管理python包的工具,可以替代easy_install。下載地址:https://bootstrap.pypa.io/get-pip.pyhttp://pan.baidu.com/s/1dFKbFP3%20 密碼:m3ar

打開命令行進入到保存get-pip的路徑進行操作,可以用cd的命令,也可以shift+右鍵選擇用命令行打開。然后鍵入:

python get-pip.py 

即可

安裝完成后在命令行輸入

pip --version 

顯示即安裝成功

 

四、安裝pyOPENSSL

在Windows下,是沒有預裝pyOPENSSL的,而在Linux下是已經安裝好的。

安裝地址:https://launchpad.net/pyopenssl 或 http://pan.baidu.com/s/1hrXS4Fa 密碼:25pd

下載后,雙擊,一路next就可以。

 

五、安裝 lxml

lxml是一種使用 Python 編寫的庫,可以迅速、靈活地處理 XML

直接執行如下命令

pip install lxml

 然后,我們迎來了一個大坑,這里可能會報各種錯,比較常見的:

1.報錯說電腦沒有匹配的 Microsoft Visual C++庫,點擊官網下載安裝,點擊網盤下載安裝,密碼:37h2。安裝完成后重啟命令行再次執行上述命令

2.報其他亂七八糟的錯,或者上述庫安裝完成以后依舊不成功。這個時候可以嘗試

easy_install lxml

 或者,下載集成的安裝包,直接雙擊一路next安裝。如果還是不行,一個屢試不爽的方法,下載lxml.wheel文件。然后在wheel目錄下鍵入

pip install lxml-3.6.4-cp27-cp27m-win_amd64.whl

 

六、安裝Scrapy框架

在命令行下

pip install Scrapy

 

安裝完畢后,在命令行輸入Scrapy,如果顯示如下圖所示,則安裝成功:

 

七、編譯程序的時候發現,經常報告缺失lib2,所以這里附上安裝httplib2的方法

下載,然后解壓,在httolib2目錄下,pip install httplib2 即可。

 

————————————————————————————————————————————————————————————

 

如果還有其他問題,歡迎留言討論交流。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM