分布式爬蟲搭建系列 之一------python安裝及以及虛擬環境的配置及scrapy依賴庫的安裝


python及scrapy框架依賴庫的安裝步驟:

第一步,python的安裝

在Windows上安裝Python

首先,根據你的Windows版本(64位還是32位)從Python的官方網站下載Python 3.5對應的64位安裝程序或32位安裝程序(網速慢請移步國內鏡像)或者通過輸入網址https://www.python.org/downloads/選擇要下載的版本,然后,雙擊運行下載的EXE安裝包:

如下圖,並按照圈中區域進行設置,切記要勾選打鈎的框,然后再點擊Customize installation進入到下一步

 

特別要注意勾上Add Python 3.5 to PATH,然后點“Install Now”即可完成安裝。

對於上圖中,可以通過Browse進行自定義安裝路徑,也可以直接點擊Install進行安裝,點擊install后便可以完成安裝了。

 

為了檢查我們的python是否安裝成功,我們運行Python進行檢查:

安裝成功后,打開命令提示符窗口,敲入python后,會出現兩種情況:

情況一:

看到上面的畫面,就說明Python安裝成功!

情況二:得到一個錯誤:

這是因為Windows會根據一個Path的環境變量設定的路徑去查找python.exe,如果沒找到,就會報錯。如果在安裝時漏掉了勾選Add Python 3.5 to PATH,那就要手動把python.exe所在的路徑添加到Path中。

如果你不知道怎么修改環境變量,建議把Python安裝程序重新運行一遍,務必記得勾上Add Python 3.5 to PATH

以上過程是步驟能執行的前提,請確保python已經正常安裝,否則無法進行第二步。

第二步,scrapy框架的建立前提依賴庫的完整安裝:

特別說明一下:

lxml,Twisted,PyOpenssl需要下載與安裝的python相同版本的,否則會報錯。

這里有一種方法可以查看當前本機安裝的python的版本:

進入python(IDIE或cmd均可,此處以通用的cmd進行使用)。在cmd中,輸入python進入python。

然后輸入import pip;print(pip.pep425tags.get_supported()),界面上輸出當前python的版本信息--划線部分,(此處提供一個python3.5的圖例,其他的一樣)

然后根據python版本選擇依賴庫的版本號。

另外此處提供一個完整安裝lxmL的參考地址:https://jingyan.baidu.com/article/ad310e80feaac71849f49e98.html

操作步驟為:

(1)通過以上的鏈接(手動輸入吧)去下載庫到本地,例如存本地的絕對路徑為url

(2)通過管理員啟動命令提示符這里很重要),然后通過pip install url  分別進行安裝lxml,Twisted,PyOpenssl

(3)安裝完成

注:windows平台需要依賴pywin32,Pywin32是一個.exe文件,需要在已經安裝的python中的scripts中執行安裝(next即可),這樣會默認配置python。

這里需要說明一下就是上述的安裝是在沒有使用虛擬環境的前提下進行的,這里附上使用虛擬環境(虛擬環境包管理)后的安裝步驟:

第一步:包管理的安裝

pip install virtualenvwrapper-win
pip install virtualenv

默認創建的虛擬環境位於C:\Users\username\envs,但是我們有時需要把項目環境存儲到其他盤,所以我們可以通過環境變量 WORKON_HOME來定制實現虛擬環境的存儲位置。

通過計算機-->屬性-->高級系統設置-->環境變量-->在系統變量中新建“變量名”:WORKON_HOME,變量值:“你自定義的路徑”

使用workon可以查看虛擬環境包

第二步:創建一個虛擬環境

mkvirtualenv testscrapy

虛擬環境創建好之后會自動進入到該虛擬環境下

使用deactivate可以退出該虛擬環境,使用workon testscrapy可以進入到虛擬環境中

第三步:scrapy框架的安裝  使用豆瓣的鏡像

pip install -i https://pypi.douban.com/simple scrapy    

對於該步驟有可能會安裝出錯,原因為一些第三方包的缺失,

這里解決辦法為在https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下載與我們python對應版本的包,指定下載到某一個目錄下,然后在該目錄下

打開虛擬環境(指的是路徑必須是從當前文件所在盤開始,例如包下載到了D盤,cmd的根目錄需要從D開始,如下圖):

 

並在該虛擬環境下使用pip install xx 命令來安裝所需的第三方的包(對於安裝的包需要名稱加擴展名)。例如安裝lxml

pip install lxml-4.1.1-cp34-cp34m-win_amd64.whl

 以上步驟成功走完后,我們就可以開心愉快的玩耍了----接下來開啟我們scrapy框架之旅

 

詳細我們可以參考:https://www.cnblogs.com/jiuyang/p/7815126.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM