在構建本章節內容的時候，筆者也在想一個問題，究竟什么樣的采集器框架，才能算得上是一個“全能”的呢？就我自己以往項目經歷而言，可以歸納以下幾個大的分類： 根據通訊協議：HTTP的、HTTPS ...

前兩節，我們對WebRequest和WebResponse這兩個類做了介紹，但兩者還相對獨立。本節，我們來說說如何將兩者結合起來，方式有哪些，有什么不同。 1.4.1 說結合，無非就是我們如何發送一個Request以及如何得到一個Response。 WebRequest提供了三組方 ...

有了上一節畫線的基礎，畫矩形的各種邊線就特別好理解了，所以，本節在矩形邊線上，就不做過多的講解了，關注一下畫“隨機矩形”的具體實現就好。與畫線相比較，畫矩形稍微復雜的一點就是在於它多了很多填充的樣式。接下來，我們就來細細品味一番。 同樣，一個窗體項目，窗體的布局風格與上一節的保持一致 ...

續上一節內容，本節主要講解一下Web壓縮數據的處理方法。 在HTTP協議中指出，可以通過對內容壓縮來減少網絡流量，從而提高網絡傳輸的性能。 那么問題來了，在HTTP中，采用的是什么樣的壓縮格式和機制呢？ 首先呢，先說壓縮格式，主要有三種： DEFLATE，是一種使用 ...

之前的章節，我們陸續的介紹了使用C#制作爬蟲的基礎知識，而且現在也應該比較了解如何制作一只簡單的Web爬蟲了。 本節，我們來做一個完整的爬蟲系統，將之前的零散的東西串聯起來，可以作為一個爬蟲項目運作流程的初探，但實際項目中，還需要解決其他一些問題，我們后續章節也將繼續深耕：） 先來看一下 ...

之前的章節也略有提及反爬策略，本節，我們就來系統的對反爬、反反爬的種種，做一個了結。 從防盜鏈說起： 自從論壇興起的時候，網上就有很多人會在論壇里發布一些很棒的文章，與當下流行的“點贊”“分享”一 ...

在上一節中，我們完成了一個簡單的采集示例。本節呢，我們先來小結一下，這個示例可能存在的問題： 沒有做異常處理 沒有做反爬應對策略 沒有做重試機制 沒有做並發限制 …… 呃，看似平靜的表面下還是隱藏着不少殺機的…… 但本節不打算對付上述問題，而是先關注一個隱藏更深 ...

我們在第五節中提到一個問題，任務隊列增長速度太快，與之對應的采集、分析、處理速度遠遠跟不上，造成內存快速增長，帶寬占用過高，CPU使用率過高，這樣是極度有害系統健康的。 我們在開發采集程序的時候，總是希望能夠盡快將數據爬取下來，如果總任務數量很小（2~3K請求數之內），總耗費時長很短（1~2分鍾 ...