Python爬蟲利器四之PhantomJS的用法
前言 大家有沒有發現之前我們寫的爬蟲都有一個共性，就是只能爬取單純的html代碼，如果頁面是JS渲染的該怎么辦呢？如果我們單純去分析一個個后台的請求，手動去摸索JS渲染的到的一些結果，那簡直沒天理了。所以，我們需要有一些好用的工具來幫助我們像瀏覽器一樣渲染JS處理的頁面。 其中有一個比較常用 ...
原文：Python爬蟲利器五之Selenium的用法
前言 在上一節我們學習了 PhantomJS 的基本用法，歸根結底它是一個沒有界面的瀏覽器，而且運行的是 JavaScript 腳本，然而這就能寫爬蟲了嗎 這又和Python有什么關系 說好的Python爬蟲呢 庫都學完了你給我看這個 客官別急，接下來我們介紹的這個工具，統統解決掉你的疑惑。 簡介 Selenium 是什么 一句話，自動化測試工具。它支持各種瀏覽器，包括 Chrome，Safari ...
2017-02-08 21:51 0 81637 推薦指數：
相關推薦
Python爬蟲利器六之PyQuery的用法
前言 你是否覺得 XPath 的用法多少有點晦澀難記呢？ 你是否覺得 BeautifulSoup 的語法多少有些慳吝難懂呢？ 你是否甚至還在苦苦研究正則表達式卻因為少些了一個點而抓狂呢？ 你是否已經有了一些前端基礎了解選擇器卻與另外一些奇怪的選擇器語法混淆了呢？ 嗯，那么，前端 ...
python爬蟲利器Selenium使用詳解
簡介： 用pyhon爬取動態頁面時普通的urllib2無法實現，例如下面的京東首頁，隨着滾動條的下拉會加載新的內容，而urllib2就無法抓取這些內容，此時就需要今天的主角selenium。 Selenium是一個用於Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中，就像 ...
Python爬蟲利器一之Requests庫的用法
前言 之前我們用了 urllib 庫，這個作為入門的工具還是不錯的，對了解一些爬蟲的基本理念，掌握爬蟲爬取的流程有所幫助。入門之后，我們就需要學習一些更加高級的內容和工具來方便我們的爬取。那么這一節來簡單介紹一下 requests 庫的基本用法。 注：Python 版本依然基於 2.7 官方 ...
Python爬蟲利器二之Beautiful Soup的用法
上一節我們介紹了正則表達式，它的內容其實還是蠻多的，如果一個正則匹配稍有差池，那可能程序就處在永久的循環之中，而且有的小伙伴們也對寫正則表達式的寫法用得不熟練，沒關系，我們還有一個更強大的工具，叫Be ...
Python爬蟲利器二之Beautiful Soup的用法
上一節我們介紹了正則表達式，它的內容其實還是蠻多的，如果一個正則匹配稍有差池，那可能程序就處在永久的循環之中，而且有的小伙伴們也對寫正則表達式的寫法用得不熟練，沒關系，我們還有一個更強大的工具，叫Be ...
python爬蟲---selenium庫的用法
selenium是一個自動化測試工具，支持Firefox，Chrome等眾多瀏覽器 在爬蟲中的應用主要是用來解決JS渲染的問題。 1.使用前需要安裝這個第三方庫，CMD下： pip install selenium 2.為你的測試瀏覽器下載驅動，我用的是Chrome，對應的去百度一下 ...
Python爬蟲利器三之Xpath語法與lxml庫的用法
前面我們介紹了 BeautifulSoup 的用法，這個已經是非常強大的庫了，不過還有一些比較流行的解析庫，例如 lxml，使用的是 Xpath 語法，同樣是效率比較高的解析方法。如果大家對 BeautifulSoup 使用不太習慣的話，可以嘗試下 Xpath。 參考來源 lxml用法 ...