（我是在windows下進行實驗的） 准備工作： 　　　　　　1、安裝python環境。 　　　　　　2、python安裝selenium插件（執行以下命令就行）。 　　　　　　　 pip install selenium 　　　　　　3、Windows下配置webdriver ...

平台：mac 網站：人人網 最近練習爬蟲登陸，方法一是找頁面里的js文件，通過解析js文件找到cookie信息再保持。但現在的站點登陸都有驗證碼，而且最煩的是request時data表單里的值基本上沒有不加密的，js學的不好，就別想着破解了。所以想起了用的比較少的selenium模塊，用於模擬 ...

　　由於之前用Scrapy 抓了一些公司的名稱，但是沒有准確的聯系方式，所以就自己就學習了一下使用selenium自動化工具，速度比較慢，網上也有很多這方面的代碼，但是大部分的網頁解析部分都出錯了，可能是這種網站定時會更改一下網頁的固定幾個標簽。 　　網上也有很多說如果遇到一些防爬蟲特別強的網站 ...

cookie適用於抓取需要登錄才能訪問的頁面網站 cookie和session機制 http協議為無連接協議，cookie: 存放在客戶端瀏覽器，session: 存放在Web服務器 人人網登錄案例 方法一：登錄網站手動抓取Cookie 1、先登錄成功1次，獲取到攜帶登陸信息 ...

第一部：利用selenium登陸 導入selenium庫 明確模擬瀏覽器在電腦中存放的位置，比如我存在當前目錄 用selenium的webdriver方程指明瀏覽器的路徑，同時打開一個瀏覽器。模擬瀏覽器有多種可選,比如Firefox, Safari。本次用的是谷歌的模擬瀏覽器。注意 ...

上節介紹了瀏覽器的常用方法，涉及到了cookie的使用，本節介紹一下如何利用cookie進行登陸系統，這里使用到了request模塊，我們首先利用request模塊，請求登陸地址進行登陸，登陸成功以后獲取cookie值，然后再通過add_cookie添加到瀏覽器，使系統處於登陸狀態。這里需要 ...

工作流程 　　手動登陸人人網地址，拿到一個cookie。把cookie拷下來，手動定義一個headers，發起請求 打印結果 ...

...