beautifusoap庫簡稱bs在爬蟲中比較方便。 1. find_all()函數返回的是list，即使只有一個數據，find（）函數返回的是查找到的第一個數據。 2. 如果查找抓取數據div的參數屬性，可以通過div[屬性]或者div.attrs或者div.get（屬性 ...

Spider類定義了如何爬取某個網站, 包括爬取的動作以及如何從網頁內容中提取結構化的數據, 總的來說spider就是定義爬取的動作以及分析某個網頁. 工作流程分析 : 　　1. 以初始的U ...

推薦使用lxml作為解析器,因為效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必須安裝lxml或html5lib, 因為那些Python版本的標准庫中內置的HTML解析方法不夠穩定. 如下的html_doc是一個缺少部分閉合標簽的html文檔 ...

高級用法 本篇文檔涵蓋了 Requests 的一些高級特性。 會話對象 會話對象讓你能夠跨請求保持某些參數。它也會在同一個 Session 實例發出的所有請求之間保持 cookie， 期間使用 urllib3 的 connection pooling 功能。所以如果你向同一主機發送 ...

urllib是python自帶的請求庫，各種功能相比較之下也是比較完備的，urllib庫包含了一下四個模塊： urllib.request 請求模塊 urllib.error 異常處理模塊 urllib.parse url解析模塊 urllib.robotparse ...

前言 在上一節我們學習了 PhantomJS 的基本用法，歸根結底它是一個沒有界面的瀏覽器，而且運行的是 JavaScript 腳本，然而這就能寫爬蟲了嗎？這又和Python有什么關系？說好的Python爬蟲呢？庫都學完了你給我看這個？客官別急，接下來我們介紹的這個工具，統統解決掉你的疑惑 ...

前言 大家有沒有發現之前我們寫的爬蟲都有一個共性，就是只能爬取單純的html代碼，如果頁面是JS渲染的該怎么辦呢？如果我們單純去分析一個個后台的請求，手動去摸索JS渲染的到的一些結果，那簡直沒天理了。所以，我們需要有一些好用的工具來幫助我們像瀏覽器一樣渲染JS處理的頁面。 其中有一個比較常用 ...

前言 你是否覺得 XPath 的用法多少有點晦澀難記呢？ 你是否覺得 BeautifulSoup 的語法多少有些慳吝難懂呢？ 你是否甚至還在苦苦研究正則表達式卻因為少些了一個點而抓狂呢？ 你是否已經有了一些前端基礎了解選擇器卻與另外一些奇怪的選擇器語法混淆了呢？ 嗯，那么，前端 ...