前提准備 安裝Python以及必要的模塊（requests，bs4），不了解requests和bs4的同學可以去官網看個大概之后再回來看教程 爬蟲思路 剛開始寫爬蟲的小白都有一個疑問，進行到什么時候爬蟲還會結束呢？答案是：爬蟲是在模擬真人在操作，所以當頁面中的next鏈接不存在 ...

第一次寫一個算是比較完整的爬蟲，自我感覺極差啊，代碼low，效率差，也沒有保存到本地文件或者數據庫，強行使用了一波多線程導致數據順序發生了變化。。。 貼在這里，引以為戒吧。 沒有考慮實際生產中突發的狀況，比如網速延遲卡頓等問題。 速度是真慢，有時間會分享給大家 selenium ...

以前搞偷偷摸摸的事，不對，是搞爬蟲都是用urllib，不過真的是很麻煩，下面就使用requests + BeautifulSoup 爬爬簡單的網頁。 詳細介紹都在代碼中注釋了，大家可以參閱。 發現自己表述能力真的是渣啊，慢慢提高吧。 ...

簡介 Python標准庫中提供了：urllib、urllib2、httplib等模塊以供Http請求，但是，它的 API 太渣了。它是為另一個時代、另一個互聯網所創建的。它需要巨量的工作，甚至包括各種方法覆蓋，來完成最簡單的任務。 Requests 是使用 Apache2 Licensed ...

本文記錄下用來爬蟲主要使用的兩個庫。第一個是requests，用這個庫能很方便的下載網頁，不用標准庫里面各種urllib；第二個BeautifulSoup用來解析網頁，不然自己用正則的話很煩。 requests使用，1直接使用庫內提供的get、post等函數，在比簡單的情況下使用，2利用 ...

用Python實現爬蟲的包有很多，可以結合使用，但是目前個人覺得BeautifulSoup至少在看上去會更方便和美觀一些。 這里只涉及靜態網頁的爬取，暫不支持cookie、session等。 Python實現微博熱搜榜的爬取 微博熱搜地址：https://s.weibo.com ...

兩種爬蟲模式比較： 1、requests和beautifulsoup都是庫，scrapy是框架。 2、scrapy框架中可以加入requests和beautifulsoup。 3、scrapy基於twisted，性能是最大的優勢。 4、scrapy方便擴展，提供了很多內置的功能 ...

...