scrapy在ubuntu上安裝總結


  此文檔是本人學習時使用的,采用一個實例作為引導進行安裝測試。

  實例下載地址如下:

  https://github.com/sans-serif/scrapy-german-news#introduction

  解壓之后為:scrapy-german-news-master

  修改requirements.txt 刪除psycopg2==2.6.1

  其中requirements.txt內容如下:

  ********************************************************************

  attrs==15.2.0

  cffi==1.5.2

  cryptography==1.2.3

  cssselect==0.9.1

  enum34==1.1.2

  idna==2.0

  ipaddress==1.0.16

  lxml==3.5.0

  psycopg2==2.6.1

  pyasn1==0.1.9

  pyasn1-modules==0.0.8

  pycparser==2.14

  pyOpenSSL==0.15.1

  queuelib==1.4.2

  Scrapy==1.0.5

  service-identity==16.0.0

  six==1.10.0

  Twisted==15.5.0

  w3lib==1.13.0

  zope.interface==4.1.3

  ********************************************************************

  按理只需此文件即可,scrapy-german-news-master只是測試工程。


 

具體安裝步驟如下:

第一步:

    安裝pip: sudo apt-get install python-pip

第二步:安裝依賴

    sudo apt-get install libffi-dev

    sudo apt-get install python-dev 

    sudo apt-get install libxml2-dev

    sudo apt-get install libxslt-dev

第三步:

  准備好requirements.txt文件。

  sudo pip install -r requirements.txt

第四步:安裝postgresql

    sudo apt-get install postgresql

    sudo apt-get install python-psycopg2

    sudo apt-get install libpq-dev

    sudo pip install psycopg2==2.6.1

安裝完成

測試運行,看是否安裝成功:

  進入目錄scrapy-german-news-master 運行 scrapy crawl faz

  如果能看到開始抓取數據,則認為配置成功

  


 如安裝過程中出現如下錯誤,解決方案:

(1)ImportError: No module named pkg_resources 解決方法:

  sudo apt-get install --reinstall python-pkg-resources

(2)pkg_resources.DistributionNotFound: setuptools>=11.3 解決方法:

  sudo pip install -U distribute

(3)pip install psycopg2  錯誤,解決如下:

  sudo apt-get install postgresql

  sudo apt-get install python-psycopg2

  sudo apt-get install libpq-dev

(4)c/_cffi_backend.c:2:20: 致命錯誤: Python.h:沒有那個文件或目錄, 解決如下:

  sudo apt-get install python-dev

(5)src/lxml/includes/etree_defs.h:14:31: 致命錯誤: libxml/xmlversion.h:沒有那個文件或目錄,解決如下:

  apt-get install libxml2-dev libxslt-dev

(6)關於這個libffi,錯誤,解決如下:

  sudo apt-get install libffi-dev

(7) build/temp.linux-i686-2.7/_openssl.c:431:25: fatal error: openssl/aes.h: No such file or directory, 解決如下:

  sudo apt-get install libssl-dev

 

備注:以上測試工程采用的是postgresql數據庫,也可以采用mysql


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM