一般我們使用python的第三方庫requests及框架scrapy來爬取網上的資源，但是設計javascript渲染的頁面卻不能抓取，此時，我們使用web自動化測試化工具Selenium+無界面瀏覽器PhantomJS來抓取javascript渲染的頁面，下面實現一個簡單的爬取 環境搭建 ...

一般我們使用python的第三方庫requests及框架scrapy來爬取網上的資源，但是設計javascript渲染的頁面卻不能抓取，此 時，我們使用web自動化測試化工具Selenium+無界面瀏覽器PhantomJS來抓取javascript渲染的頁面，下面實現一個簡單的爬取 環境搭建 ...

下面不做過多文字描述： 首先、安裝必要的庫 其次、上代碼！！！ ①重定向網站爬蟲h4文字 ②v2ex爬取標題 ③煎蛋爬蟲圖片 ④爬取知乎熱門標題 ⑤selenium爬蟲知乎熱門標題 ...

注： 最近有一小任務，需要收集水質和水雨信息，找了兩個網站：國家地表水水質自動監測實時數據發布系統和全國水雨情網。由於這兩個網站的數據都是動態加載出來的，所以我用了Selenium來完成我的數據獲取。數據的獲取過程跟人手動獲取過程類似，所以也不會對服務器造成更大負荷。這是我寫的第1個爬蟲 ...

一個網站的爬蟲腳本，在調試的時候發現問題： 腳本跑：content-type用text/xml 可以post成功，但post中body的內容沒有生效，所有的響應都是當前日期；用application，post不成功(即沒有返回數據)工具發：content-type用text/xml 可以post ...

注： 上一篇《Python+Selenium爬取動態加載頁面（1）》講了基本地如何獲取動態頁面的數據，這里再講一個稍微復雜一點的數據獲取全國水雨情網。數據的獲取過程跟人手動獲取過程類似，所以也不會對服務器造成更大負荷。本文的代碼見Selenium獲取動態頁面數據2.ipynb ...

selenium和phantomjs的介紹 selenium Selenium是一個用於Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中，就像真正的用戶在操作一樣。支持的瀏覽器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google ...

layout: article title: 一起學爬蟲——使用selenium和pyquery爬取京東商品列表 mathjax: true 今天一起學起使用selenium和pyquery爬取京東的商品列表。本文的所有代碼是在pycharm IDE中完成的，操作系統window 10 ...