1、開始
Python 中可以進行網頁解析的庫有很多，常見的有BeautifulSoup和lxml等。在網上玩爬蟲的文章通常都是介紹BeautifulSoup這個庫，我平常也是常用這個庫。
最近用Xpath用得比較多，使用BeautifulSoup就不大習慣。
很久之前就知道Reitz大神出了一個叫Requests-HTML的庫，一直沒有興趣看，這回可算歹着機會用一下了。
使用pip install requests-html安裝，上手和Reitz的其他庫一樣，輕松簡單：
這個庫是在requests庫上實現的，r得到的結果是Response對象下面的一個子類，多個一個html的屬性。
所以 requests 庫的響應對象可以進行什么操作，這個 r 也都可以。如果需要解析網頁，直接獲取響應對象的 html 屬性：
2、原理
不得不膜拜Reitz大神太會組裝技術了。
實際上HTMLSession是繼承自requests.Session這個核心類。
然后將requests.Session類里的requests方法改寫。
返回自己的一個HTMLResponse對象。
這個類又是繼承自requests.Response，只是多加了一個 _from_response的方法來構造實例：
之后在HTMLResponse里定義屬性方法html，就可以通過html屬性訪問了，實現也就是組裝PyQuery來干核心的解析類也大多是使用PyQuery和lxml來做解析，簡化了名稱，挺討巧的。
3、元素定位
元素定位可以選擇兩種方式：
css選擇器
◆ css選擇器
◆ xpath
方法名非常簡單，符合Python優雅的風格，這里不妨對這兩種方式簡單的說明。
4、CSS簡單規則
◆ 標簽名 h1
◆ id 使用 #id 表示
◆ class 使用 .class_name 表示
◆ 謂語表示：h1[prop=value]
5、Xpath簡單規則
◆ 路徑 // 或者 /
◆ 標簽名
◆ 謂語 [@prop=value]
◆ 軸定位 名稱::元素名[謂語]
定位到元素以后勢必要獲取元素里面的內容和屬性相關數據，獲取文本：
獲取元素的屬性：
還可以通過模式來匹配對應的內容：
這個功能看起來比較雞肋，可以深入研究優化一下，說不定能在github上混個提交。
6、人性化操作
除了一些基礎操作，這個庫還提供了一些人性化的操作。
比如一鍵獲取網頁的所有超鏈接，這對於整站爬蟲應該是個福音，URL管理比較方便：
內容頁面通常都是分頁的，一次抓取不了太多，這個庫可以獲取分頁信息：
結果如下：
通過迭代器實現了智能發現分頁，這個迭代器里面會用一個叫 _next 的方法，貼一段源碼感受下：
通過查找a標簽里面是否含有指定的文本來判斷是不是有下一頁，通常我們的下一頁都會通過下一頁或者加載更多來引導，他就是利用這個標志來進行判斷。
默認的以列表形式存在全局：['next', 'more', 'older']。
我個人認為這種方式非常不靈活，幾乎沒有擴展性。
感興趣的可以往github上提交代碼優化。
7、加載JS
也許是考慮到了現在 js 的一些異步加載，這個庫支持 js 運行時，官方說明如下：
使用非常簡單，直接調用以下方法：
第一次使用的時候會下載Chromium，不過國內你懂的，自己想辦法去下吧，就不要等它自己下載了。
render函數可以使用js腳本來操作頁面，滾動操作單獨做了參數。
這對於上拉加載等新式頁面是非常友好的。
總結
Reitz大神設計出來的東西還是一如既往的簡單好用，自己不多做，大多用別人的東西組裝，簡化api。真是夠人性。
不過有的地方還是優化空間，希望有興趣和精力的童鞋去github上關注一下這個項目。
完整代碼：
import requests from requests_html import HTMLSession session = HTMLSession() url="http://www.sina.com.cn/" r=session.get(url) print(r.html.text)