01.爬蟲---安裝工具包Anaconda--python3.5.2、MongoDB、Redis、其他工具庫


安裝anaconda

 
 
 
 
 安裝 pycharm
 
版本沖突
多版本兼容
 
 
 
 
 
 
 
BeautifulSoup這個庫的安裝
 
 
忽略大小寫
 
 
mongodb安裝
 
新建  文件夾
/data/db
 
開啟服務端
 
mongod --dbpath  D:\install\mongodb\data\db
查看是否開啟
localhost:27017
啟動客戶端 
cmd
mongo
 
 
配置系統服務中啟動
 
可視化
robomongo
 
 安裝各種庫
pip3 install  requests
conda  install requests
 
requests
selenium   ----js渲染
 
chromedriver   放 scrip文件夾
    from selenium import webdriver
    driver = webdriver.Chrome()
    driver.get('http://www.baidu.com')
 
phantomjs  ----無界面瀏覽器 后台
phantomjs
配置環境變量
 
 
lxml  ---- 提供網頁解析
 
 
 
beautifulsoup4
from bs4 import 
 
pyquery
pip3 install pyquery
 
pymysql
pip3 install pymysql
 
pymongo
pip3 install pymongo
 
redis
pip3 install redis
 
flask  --- web
pip3 install flask
 
django  
pip3 install django
 
jupyter ---在線運行程序  支持markdowm
pip3 install jupyter
jupyter notebook
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM