爬蟲的分類 按使用場景： 通用爬蟲：指搜索引擎的爬蟲 聚焦爬蟲：指針對特定網站的爬蟲 聚焦爬蟲又可以分為大致3種： 累積式爬蟲: 從開始到結束,一直不斷爬取，過程中會進行去重操作； 增量式爬蟲: 對已經下載的網頁采取增量式更新和只爬行新產生的或者已經 ...

說起網絡爬蟲，大家想起的估計都是 Python ，誠然爬蟲已經是 Python 的代名詞之一，相比 Java 來說就要遜色不少。有不少人都不知道 Java 可以做網絡爬蟲，其實 Java 也能做網絡爬蟲而且還能做的非常好，在開源社區中有不少優秀的 Java 網絡爬蟲框架，例如 webmagic ...

概述 在上一篇文章《爬蟲學習之一個簡單的網絡爬蟲》中我們對爬蟲的概念有了一個初步的認識，並且通過Python的一些第三方庫很方便的提取了我們想要的內容，但是通常面對工作當作復雜的需求，如果都按照那樣的方式來處理效率非常的低，這通常需要你自己去定義並實現很多非常基礎的爬蟲框架上的功能，或者需要 ...

一、網絡基礎概念　　 　　首先理清一個概念：網絡編程 ！= 網站編程，網絡編程現在一般稱為TCP/IP編程。 　　 二、網絡通信協議及接口 　　 三、通信協議分層思想 　　 四、參考模型 　　 五、IP協議 　　 　　每個人的電腦都有一個獨一無二的IP地址，這樣互相通信時 ...

爬蟲+基於接口的網絡爬蟲 上一篇講了【java爬蟲】---爬蟲+jsoup輕松爬博客，該方式有個很大的局限性，就是你通過jsoup爬蟲只適合爬靜態網頁，所以只能爬當前頁面的所有新聞。如果需要爬一個網站所有信息，就得通過接口，通過改變參數反復調該網站的接口，爬到該網站的所有 ...

一、Jsoup介紹 我們抓取到頁面之后，還需要對頁面進行解析。可以使用字符串處理工具解析頁面，也可以使用正則表達式，但是這些方法都會帶來很大的開發成本，所以我們需要使用一款專門解析html頁面的技術。jsoup is a Java library for working ...

這是 Java 網絡爬蟲系列文章的第一篇，如果你還不知道 Java 網絡爬蟲系列文章，請參看 學 Java 網絡爬蟲，需要哪些基礎知識。第一篇是關於 Java 網絡爬蟲入門內容，在該篇中我們以采集虎撲列表新聞的新聞標題和詳情頁為例，需要提取的內容如下圖所示： 我們需要提取圖中圈出來的文字 ...

接着上面一篇對爬蟲需要的java知識，這一篇目的就是在於網絡爬蟲的實現，對數據的獲取，以便分析。 -----> 目錄： 1、爬蟲原理 2、本地文件數據提取及分析 3、單網頁數據的讀取 4、運用正則表達式完成超連接的連接匹配和提取 5、廣度優先遍歷，多網頁的數據爬取 ...