scrapyd+gerapy的項目部署


scrapyd+gerapy的項目部署:

簡單學習,后續跟進完善

聲明:

   1)僅作為個人學習,如有冒犯,告知速刪!
   2)不想誤導,如有錯誤,不吝指教!

環境配置:

scrapyd下載:

  pip install scrapyd -i https://pypi.com/simple

scrapyd部署:

  scrapyd-deploy -p 項目名

注意:需要切換到項目的根目錄下運行

 

scrapyd遇到的問題:

  1. 'scrapyd-deploy' 不是內部或外部命令,也不是可運行的程序,

  2. 解決方法:

    1. 找到scrapyd-deploy文件(Scripts文件夾下),這里每個人配置的pip安裝路徑不同 ;

    2. 然后在這個文件夾內創建兩個文件,scrapy.bat 和 scrapyd-deploy.bat (新建 txt 文本文檔,然后更改后綴名為 .bat)

    3. 編輯scrapyd-deloy.bat:

       @echo off
       #python.exe路徑 scrapyd-deploy路徑
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe    C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd-deploy %*
       
    4. scrapy.bat編輯:

       @echo off
       #python.exe路徑 scrapyd路徑
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd %*

      注意:上面路徑沒有分行,兩個路徑之間有空格!

    5. 保存,新起cmd,運行scrapyd-deploy -h,出現以下信息即成功:

       1  Usage: scrapyd-deploy [options] [ [target] | -l | -L <target> ]
       2  3  Deploy Scrapy project to Scrapyd server
       4  5  Options:
       6    -h, --help            show this help message and exit
       7    -p PROJECT, --project=PROJECT
       8                          the project name in the target
       9    -v VERSION, --version=VERSION
      10                          the version to deploy. Defaults to current timestamp
      11    -l, --list-targets    list available targets
      12    -a, --deploy-all-targets
      13                          deploy all targets
      14    -d, --debug           debug mode (do not remove build dir)
      15    -L TARGET, --list-projects=TARGET
      16                          list available projects on TARGET
      17    --egg=FILE            use the given egg, instead of building it
      18    --build-egg=FILE      only build the egg, don't deploy it

       

  3. 運行部署命令后報錯:

    1  C:\Users\Administrator\PycharmProjects\code\xbhog>scrapyd-deploy -p xbhog
    2  Packing version 1595062659
    3  Deploying to project "xbhog" in http://localhost:6800/addversion.json
    4  Deploy failed: <urlopen error [WinError 10061] 由於目標計算機積極拒絕,無法連接。>
    5  C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe: can't open file 'C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd': [Errno 2] No such file or directory

     

  4. 解決方法:

    1. 先在一個cmd窗口執行scrapyd

    2. 然后再用另一個cmd窗口部署項目

 

gerapy安裝以及使用:

  pip install gerapy -i https://pypi.com/simple
使用:
  • 1.在本地創建空文件夾

  • 2.進入文件夾,建立項目(gerapy init)

  • 3.進入生成的gerapy文件中

  • 4.對數據庫進行初始化(gerapy migrate)

  • 5.創建超級管理員(gerapy initadmin)---賬號密碼:admin

  • 6.運行:gerapy runserver

 

scrapyd+gerapy搭配使用的效果圖:

scrapyd-1

 scrapyd-2


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM