windows安裝scrapy


1.安裝Twisted

直接pip install Twisted

然后報錯

    error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

    ----------------------------------------
Command "c:\users\zb\appdata\local\programs\python\python36-32\python.exe -u -c "import setuptools, 
tokenize;__file__='C:\\Users\\zb\\AppData\\Local\\Temp\\pip-build-10ew2ma_\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))"
install --record C:\Users\zb\AppData\Local\Temp\pip-85cixft1-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\zb\AppData\Local\Temp\pip-build-10ew2ma_\Twisted\ You are using pip version 9.0.1, however version 10.0.1 is available. You should consider upgrading via the 'python -m pip install --upgrade pip' command.

 

最后一句提醒讓升級pip,然后運行 python -m pip install --upgrade pip 運行 

這時候我們成功升級了pip了。然后重新 安裝pip install twisted運行之后看到出現 如下錯誤

    building 'twisted.test.raiser' extension
    error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

字面意思看需要安裝Microsoft Visual C++ 14.0 ,但是這個東西安裝起來很麻煩,而且安裝上了也不一定准確,這個時候呢,我們一般就考慮第三方的python模塊安裝包
http://www.lfd.uci.edu/~gohlke/pythonlibs/

然后搜索twisted,下載對應的版本,下圖cp36就是python3.6x版本用的,win32是指的python的位數,cmd輸入python查看python的版本,這里我就下載下面藍色x

https://pan.baidu.com/s/1MOVgSWO0aJrBMKUw4ibdrQ

然后用命令行到whl的目錄

pip install  Twisted-18.4.0-cp36-cp36m-win32.whl

2.安裝scrapy

 

pip install scrapy

 沒有特殊情況就會安裝成功了。

3.創建工程

打開命令行,然后切換到需要的目錄,d:

輸入下面的命令創建工程

scrapy startproject weibo

其中weibo是你需要創建的工程的名字,前兩個參數不動。

然后到達工程的目錄,cd weibo

scrapy genspider weibocn m.weibo.cn

然后這時候進入工程的spider文件發現多了一個文件weibocn.py

weibocn 是爬蟲的名字,具有唯一性,每個工程擁有一個唯一的爬蟲名,m.weibo.cn是指定域范圍,獲取的內容只在指定的域。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM