發現一個爬蟲庫太方便了,而且支持python3!
安裝方法在http://docs.python-requests.org/en/latest/user/install/#install很詳細
只不過Windows的安裝方法里面講的不清楚,在這里記一下。
1.進入上面那個鏈接,找到里面的里面有一個tarball的鏈接,這個tarball的鏈接是在linux上用的,這個鏈接類似於這樣:
https://github.com/kennethreitz/requests/tarball/master
那么只需要把這個鏈接里面的tarball改成zipball,就可以下載到Windows可以用的包了。
2.下載下來之后解壓,放到一個目錄下,比如d:\req
現在的目錄結構大致是這樣:
D:
----req
----setup.py
----REDEME.md
----requirements.txt
----.....(等等文件)
3.運行cmd,進入d:\req目錄(先輸入d:,再輸入cd req)
4.運行語句
python setup.py install
這樣就安裝好了。
使用方法可以看一下官方簡易教程:http://www.zhidaow.com/post/python-requests-install-and-brief-introduction