1.安裝Twisted
直接pip install Twisted
然后報錯
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools ---------------------------------------- Command "c:\users\zb\appdata\local\programs\python\python36-32\python.exe -u -c "import setuptools,
tokenize;__file__='C:\\Users\\zb\\AppData\\Local\\Temp\\pip-build-10ew2ma_\\Twisted\\setup.py';f=getattr(tokenize, 'open', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))"
install --record C:\Users\zb\AppData\Local\Temp\pip-85cixft1-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users\zb\AppData\Local\Temp\pip-build-10ew2ma_\Twisted\ You are using pip version 9.0.1, however version 10.0.1 is available. You should consider upgrading via the 'python -m pip install --upgrade pip' command.
最后一句提醒讓升級pip,然后運行 python -m pip install --upgrade pip 運行
這時候我們成功升級了pip了。然后重新 安裝pip install twisted運行之后看到出現 如下錯誤
building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
字面意思看需要安裝Microsoft Visual C++ 14.0 ,但是這個東西安裝起來很麻煩,而且安裝上了也不一定准確,這個時候呢,我們一般就考慮第三方的python模塊安裝包
http://www.lfd.uci.edu/~gohlke/pythonlibs/
然后搜索twisted,下載對應的版本,下圖cp36就是python3.6x版本用的,win32是指的python的位數,cmd輸入python查看python的版本,這里我就下載下面藍色x
https://pan.baidu.com/s/1MOVgSWO0aJrBMKUw4ibdrQ
然后用命令行到whl的目錄
pip install Twisted-18.4.0-cp36-cp36m-win32.whl
2.安裝scrapy
pip install scrapy
沒有特殊情況就會安裝成功了。
3.創建工程
打開命令行,然后切換到需要的目錄,d:
輸入下面的命令創建工程
scrapy startproject weibo
其中weibo是你需要創建的工程的名字,前兩個參數不動。
然后到達工程的目錄,cd weibo
scrapy genspider weibocn m.weibo.cn
然后這時候進入工程的spider文件發現多了一個文件weibocn.py
weibocn 是爬蟲的名字,具有唯一性,每個工程擁有一個唯一的爬蟲名,m.weibo.cn是指定域范圍,獲取的內容只在指定的域。