基於python的scrapy環境搭建





 0.1 安裝python軟件

      32位機的電腦安裝python-3.6.3.exe

      64位機的電腦安裝python-3.6.3-amd64.exe

   0.1.1 python環境搭建

             執行安裝程序

clip_image002


          選擇Add Python 3.6 to PATH,然后點擊Customize installation

clip_image004


         確保所有的選項都被選中,然后點擊Next

clip_image006

      

          選擇Install for all users,然后定制自己的安裝路徑。點擊Install按鈕

           安裝完成后,啟動cmd命令行(需要在管理員界面進入)。

clip_image008

        輸入python命令,如果出現>>>提示符,就表示python程序已經安裝正確並程序進入python命令行。

clip_image010

          編寫helloworld程序。

                  print('hello')

clip_image012

                  如果想要退出python命令,回到DOS命令行,可以在python命令行中按Ctrl+Z回車。

clip_image014

0.1.2 安裝python插件

      假設我們需要安裝一個插件ipython,在cmd命令行下(需要管理員權限),輸入

前者從國外的網站裝,后者從國內網站裝,

pip install ipython

pip install ipython -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

pip install numpy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

        如果能夠成功安裝,啟動ipython,在命令運行

ipython

嘗試打印hello字樣

ipython中通過exit命令退出。

clip_image016

pip本身可以更新,使用如下命令:

python -m pip install --upgrade pip

clip_image018

0.1.3安裝ipython

IPython可以理解為網頁版的python,安裝步驟如下:

pip install ipython

clip_image020

此時,輸入ipython,即可進入ipython的命令行

clip_image022

要使用網頁版本,則需要安裝jupyter

pip install jupyter

clip_image024

然后輸入

jupyter notebook

即可打開python的網頁版本。

Jupyter的主窗口顯示的路徑一般是你啟動notebook時位於的路徑下(通常在你的用戶目錄下)。主界面如下所示:

clip_image026

若要創建一個新的notebook,只需鼠標左擊New,在下拉選項中選擇一個你想啟動的notebook類型即可。

clip_image028

比如選擇python3

然后在新的頁面進行程序的編輯

clip_image030

       注意該文件的后綴名為ipynb

        另外,也可以把其他人寫好的ipynb文件拷貝到當前工作區下。刷新打開即可。



0.1.4 安裝selenium插件

     前者從國外的網站裝,后者從國內網站裝,

pip install selenium

pip install selenium -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.5安裝lxml庫

    如果需要在python程序中應用xpath規則。使用lxml庫(LXML)

pip install lxml

pip install lxml -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

0.1.6安裝scrapy框架

      0.1.6.1安裝pip3

    地址:

https://blog.csdn.net/zytbft/article/details/72566197

python3.6 安裝pip3 官網下載,

https://pypi.python.org/pypi/pip#downloads

(也就是安裝包中:pip-18.1.tar.gz 文件,)

clip_image032

           然后解壓到一個文件夾,用CMD控制台進入解壓目錄,依此輸入:

                      1、python setup.py install

                       2、setup.py install

          然后,添加環境變量,我們在PATH最后添加:

                 D:\Python36\Scripts

         安裝scrapy 最保守的方法

          參考網址    https://www.cnblogs.com/dalyday/p/9277212.html



0.1.6.2安裝 pywin32(文件夾中有)

     下載並安裝 pywin32:

          進入https://sourceforge.net/projects/pywin32/files/,在目錄點擊pywin32,選擇Build 221,找到自己對應版本的pywin32點擊連接即可自己下載,

        安裝:點擊運行,按默認步驟點擊下一步即可

          pywin32的作用:因為Python沒有自帶訪問windows系統API的庫的,需要下載第三方庫。庫的名稱叫pywin32,可以從網上直接下載

        參考網址     https://sourceforge.net/projects/pywin32/files%2Fpywin32/

(下載適合你的Python版本。

比如build220里面的pywin32-221.win-amd64-py3.6.exe,並安裝)



0.1.6.3安裝 wheel

          輸入以下命令即可

          pip3 install wheel

0.1.6.4下載twisted文件

    進入https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

          點擊對應版本下載,cmd進入下載目錄,cmd執行一下命令

64位機

          pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

32位機

           pip install Twisted-18.9.0-cp36-cp36m-win32.whl

即可安裝



0.1.6.5安裝scrapy
     0.1.6.6確認是否安裝成功

         1 在cmd中進入 python

                  2 >>>import twisted

                  3 >>>import scrapy

clip_image034

           沒有異常則說明安裝成功

             三個步驟下來可以正常引入,即表明正常安裝, 0.1.7運行python程序的方式

目前運行python程序有3種方式:

            方式一:交互式編程

                  在DOS命令行中輸入python命令后,將進入python命令行(前面有3個大於號提示符的)

clip_image036

                在python命令行下,即可輸入python命令。如:

clip_image038

        交互式編程一般只適用於測試簡單的程序。比如通過pip install安裝了某個包后,通過交互式命令行import 該包,看是否能正常導入之類的。交互式終端不適宜進行大量復雜的邏輯運算。

方式二:腳本式編程。

          創建一個后綴名為py的腳本文件,在該文件中編寫python腳本。比如創建hello.py,內容如下:

print("hello")

然后,通過python解釋器執行。命令如下:

python hello.py

即可。

方式三:在腳本中聲明解釋器(一般在Linux操作系統下使用)

hello.py

#!/usr/bin/python

print("hello")

然后,修改該腳本的權限為可執行。

$ chmod +x hello.py

再執行該腳本

$ ./test.py

0.1. 8 PyCharm

       PyCharm官網為: https://www.jetbrains.com/zh/pycharm/specials/pycharm/pycharm.html

    點擊“立即下載”可以下載最新版pycharm。

clip_image040

下載后點擊安裝。並選擇安裝目錄

clip_image042

選擇64位系統(需要與python解釋器對應),選擇py后綴名。

clip_image044

安裝完成后啟動pycharm。首次啟動需要把滑動條滑動到底部並同意協議

clip_image046

接下來需要輸入激活碼。在License Server中輸入下面的其中一項。

http://idea.imsxm.com/

或打開該網址,找到注冊碼。

注意:最近lanyu的激活碼好像被封殺了。可以修改hosts文件(Windows的在C:\Windows\System32\drivers\etc\hosts),添加下面一行到hosts文件,目的是屏蔽掉Pycharm對激活碼的驗證

0.0.0.0 account.jetbrains.com

目前這個激活碼有效期到2018年10月14日,之后再繼續更新

選擇白底黑詞或黑底白字(看個人習慣)

clip_image048

如果需要的話,可以選擇下注需要的特征插件(featured plugins)。

clip_image050

點擊右下角Start using PyCharm

啟動PyCharm后,選擇Create New Project

clip_image052

選擇Pure Python,和指定的安裝目錄

clip_image054

編寫helloworld程序,首次運行時需要配置python解釋器。點擊編輯框右上角的提示,或通過File——Setting打開。

clip_image056

在Project interpreter對應的下拉列表中選擇對應的解釋器版本。

clip_image058

如果沒有可以通過右上角的齒輪圖案下拉選擇Add Local。

clip_image060

並選擇python解釋器安裝的路徑。

clip_image062

配置成功后,即可運行程序了(首次運行可能會稍微的耗點時間)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM