python爬蟲相關庫安裝

本文轉載自查看原文 2017-11-14 15:53 11590 常用庫/ Python

python爬蟲涉及的庫：

請求庫，解析庫，存儲庫，工具庫

1. 請求庫：urllib/re/requests

（1） urllib/re是python默認自帶的庫，可以通過以下命令進行驗證：

沒有報錯信息輸出，說明環境正常

（2） requests安裝

2.1 打開CMD，輸入

pip3 install requests

2.2 等待安裝后，驗證

（3） selenium安裝（驅動瀏覽器進行網站訪問行為）

3.1 打開CMD，輸入

pip3 install selenium

3.2 安裝chromedriver

網址：https://npm.taobao.org/

把下載完成后的壓縮包解壓，把exe放到D:\Python3.6.0\Scripts\

這個路徑只要在PATH變量中就可以

3.3 等待安裝完成后，驗證

回車后彈出chrome瀏覽器界面

3.4 安裝其他瀏覽器

無界面瀏覽器phantomjs

下載網址：http://phantomjs.org/

下載完成后解壓，把整個目錄放到D:\Python3.6.0\Scripts\，把bin目錄的路徑添加到PATH變量

驗證：

打開CMD

phantomjs
console.log('phantomjs')

CTRL+C

python
from selenium import webdriver
driver = webdriver.PhantomJS()
dirver.get('http://www.baidu.com')
driver.page_source

2. 解析庫：

2.1 lxml (XPATH)

打開CMD

pip3 install lxml

或者從https://pypi.python.org下載，例如，lxml-4.1.1-cp36-cp36m-win_amd64.whl (md5) ,先下載whl文件

pip3 install 文件名.whl

2.2 beautifulsoup

打開CMD，需要先安裝好lxml

pip3 install beautifulsoup4

驗證

python
from bs4 import BeautifulSoup
soup = BeautifulSoup('<html></html>','lxml')

2.3 pyquery（類似jquery語法）

打開CMD

pip3 install pyquery

驗證安裝結果

python
from pyquery import PyQuery as pq
doc = pq('<html>hi</html>')
result = doc('html').text()
result

3. 存儲庫

3.1 pymysql（操作MySQL，關系型數據庫）

安裝：

pip3 install pymysql

安裝后測試：

3.2 pymongo（操作MongoDB，key-value）

安裝

pip3 install pymongo

驗證

python
import pymongo
client = pymongo.MongoClient('localhost')
db = client['testdb']
db['table'].insert({'name':'bob'})
db['table'].find_one({'name':'bob'})