把網站裝進爬蟲里，分為幾步： 新建項目 (Project)：新建一個新的爬蟲項目 明確目標（Items）：明確你想要抓取的目標 制作爬蟲（Spider）：制作爬蟲開始爬取網頁 存儲內容（Pipeline）：設計管道存儲爬取內容 1.新建項目（Project） 在空目錄 ...

...

前面（1）（2）的內容已經足夠爬蟲如鏈家網之類的不需要登錄可以直接獲取數據的網站。 而要爬取社交網站比較鮮明的特點就是需要登錄，否則很多東西都無法獲取。經過測試發現，微博，知乎都不是很好登錄，知乎有時候的驗證碼會類似12306那樣，而微博除了驗證碼，在傳遞參數的時候會對用戶名進行base64加密 ...

https://movie.douban.com/ 直奔主題，給個要爬取的豆瓣電影地址，爬取熱門電影名字。 右鍵選擇查看網頁源碼，我們可以發現在網頁靜態源碼里，是找不到‘來電狂想’這些關鍵字的。 通過檢查網頁，查看network下的XHR，我們可以找到對應的信息。說明我們想要爬 ...

爬蟲接觸了也有段時間，跟着網上的一些教程，不僅做出了一些實用的小工具，而且對於使用Python爬蟲的整個流程有了大致的了解，也知道了爬蟲是怎么回事。以前做的一些小的試驗，陸續也都會寫成博客，今天記錄的， 是我在慕課網上（http://www.imooc.com/learn/563）學到的一個爬蟲 ...

Python是個功能很強大，也很齊全的語言，這在我當初學的時候是不了解的。想想半年前學習python的初衷，無非是是因為ArcGIS提供了python腳本的編譯環境，當我知道ArcToolbox里那些功能強大的工具，有一部分竟然就是用所謂python寫出來的，自然也就想着去嘗試，簡化那些冗雜的工作 ...

爬蟲與反爬 爬蟲：自動獲取網站數據的程序，關鍵是批量的獲取。 反爬蟲：使用技術手段防止爬蟲程序的方法 誤傷：反爬技術將普通用戶識別為爬蟲，從而限制其訪問，如果誤傷過高，反爬效果再好也不能使用（例如封ip，只會限制ip在某段時間內不能訪問） 成本：反爬蟲需要的人力和機器成本 攔截：成功攔截 ...