網絡爬蟲 編輯 網絡爬蟲（又稱為網頁 蜘蛛，網絡機器人，在 FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取 萬維網信息的程序或者腳本。另外一些不常使用的名字還有 螞蟻、自動索引、模擬程序或者 蠕蟲 ...

WebMagic框架介紹： 　　WebMagic框架是一個爬蟲框架，其底層是HttpClient和Jsoup。WebMagic的結構分為Downloader、PageProcessor、Scheduler、Pipeline四大組件，並由Spider將它們彼此組織起來。 　　WebMagic總體 ...

Maven官網：https://mvnrepository.com/artifact/net.sourceforge.htmlunit/htmlunit/2.37.0 （一）使用前的配置： 　　1，使用IDEA創建web項目：https://blog.csdn.net/MyArrow ...

最近學習了下webmagic，學webmagic是因為想折騰下爬蟲，但是自己學java的，又不想太費功夫，所以webmagic是比較好的選擇了。 寫了幾個demo，源碼流程大致看了一遍。想着把博客園的文章列表爬下來吧。 首頁顯示的就是第一頁文章的列表， 但是翻頁按鈕不是鏈接，而是動態 ...

初學爬蟲，WebMagic作為一個Java開發的爬蟲框架很容易上手，下面就通過一個簡單的小例子來看一下。 WebMagic框架簡介 WebMagic框架包含四個組件，PageProcessor、Scheduler、Downloader和Pipeline。 這四大組件對應爬蟲生命周期中的處理 ...

先導知識 官方教程 簡單爬蟲編寫 Maven配置 第一個爬蟲：博客園 特別注意 無意中發現了這個框架，真正的傳說中的傻瓜爬蟲框架，用來寫簡單爬蟲很方便，也能夠通過多寫一些代碼寫復雜爬蟲，作者是中國人，看文檔就能學會這個框架的使用，我這里簡單 ...

今天突發奇想，想統計一下博客園上的這么多文章的閱讀次數和發布時間之間有沒有什么關系。 於是自己寫了一個簡單的js腳本，把博客園首頁的200頁內容，共4000篇文章的發布時間、閱讀次數、推薦次數、評論次數都統計了下來。 （不知道有沒有給服務器帶來負擔，抱歉啊，管理員童鞋） 然后把js生成的數據 ...

WebMagic框架教程 http://webmagic.io/docs/zh/ 爬取世紀佳緣小姐姐信息 dao層 爬蟲框架持久層 爬蟲框架數據篩選邏輯層 // 自動登陸方法 public void login() { //注冊 ...