《C# 爬蟲 破境之道》：第一境 爬蟲原理 — 第二節：WebRequest
本節主要來介紹一下，在C#中制造爬蟲，最為常見、常用、實用的基礎類 ------ WebRequest、WebResponse。 先來看一個示例 [1.2.1]： 運行以上代碼，我們能看到類似如下的輸出： 一只爬蟲小幼崽兒，就如此輕松的誕生了~ 示例 ...
原文：《C# 爬蟲 破境之道》：第一境 爬蟲原理 — 第一節：整體思路
在構建本章節內容的時候，筆者也在想一個問題，究竟什么樣的采集器框架，才能算得上是一個 全能 的呢 就我自己以往項目經歷而言，可以歸納以下幾個大的分類： 根據通訊協議：HTTP的 HTTPS的 TCP的 UDP的 根據數據類型：純文本的 json的 壓縮包的 圖片的 視頻的 根據更新周期：不定期更新的 定期更新的 增量更新的 根據數據來源：單一數據源 多重數據源 多重數據源混合 根據采集點分布：單 ...
2019-12-24 11:19 0 230 推薦指數：
相關推薦
《C# GDI+ 破境之道》：第一境 GDI+基礎 —— 第一節：畫直線
今天正式開一本新書，《C# GDI+ 破鏡之道》，同樣是破鏡之道系列叢書的一分子。 關於GDI+呢，官方的解釋是這樣的： GDI+ 是 Microsoft Windows 操作系統的窗體子系統應用程序編程接口 (API)。 GDI+ 是負責在屏幕和打印機上顯示的信息。 顧名思義，GDI+ ...
《C# 爬蟲 破境之道》：第一境 爬蟲原理 — 第四節：同步與異步請求方式
前兩節，我們對WebRequest和WebResponse這兩個類做了介紹，但兩者還相對獨立。本節，我們來說說如何將兩者結合起來，方式有哪些，有什么不同。 1.4.1 說結合，無非就是我們如何發送一個Request以及如何得到一個Response。 WebRequest提供了三組方 ...
《C# 爬蟲 破境之道》：概述
第一節：寫作本書的目的 關於筆者 張曉亭（Mike Cheers），1982年出生，內蒙古遼闊的大草原是我的故鄉。 沒有高學歷，沒有侃侃而談的高談闊論，擁有的就是那一份對技術的執著，對自我價值的追求。 我是誰，其實並不重要，我是高級開發、我是架構師、我是技術經理 ...
《C# 爬蟲 破境之道》：第二境 爬蟲應用 — 第三節：處理壓縮數據
續上一節內容，本節主要講解一下Web壓縮數據的處理方法。 在HTTP協議中指出，可以通過對內容壓縮來減少網絡流量，從而提高網絡傳輸的性能。 那么問題來了，在HTTP中，采用的是什么樣的壓縮格式和機制呢？ 首先呢，先說壓縮格式，主要有三種： DEFLATE，是一種使用 ...
《C# 爬蟲 破境之道》：第二境 爬蟲應用 — 第五節：小總結帶來的優化與重構
在上一節中，我們完成了一個簡單的采集示例。本節呢，我們先來小結一下，這個示例可能存在的問題： 沒有做異常處理 沒有做反爬應對策略 沒有做重試機制 沒有做並發限制 …… 呃，看似平靜的表面下還是隱藏着不少殺機的…… 但本節不打算對付上述問題，而是先關注一個隱藏更深 ...
《C# 爬蟲 破境之道》：第二境 爬蟲應用 — 第七節：並發控制與策略
我們在第五節中提到一個問題，任務隊列增長速度太快，與之對應的采集、分析、處理速度遠遠跟不上，造成內存快速增長，帶寬占用過高，CPU使用率過高，這樣是極度有害系統健康的。 我們在開發采集程序的時候，總是希望能夠盡快將數據爬取下來，如果總任務數量很小（2~3K請求數之內），總耗費時長很短（1~2分鍾 ...
《C# 爬蟲 破境之道》：第二境 爬蟲應用 — 第四節：小說網站采集
之前的章節，我們陸續的介紹了使用C#制作爬蟲的基礎知識，而且現在也應該比較了解如何制作一只簡單的Web爬蟲了。 本節，我們來做一個完整的爬蟲系統，將之前的零散的東西串聯起來，可以作為一個爬蟲項目運作流程的初探，但實際項目中，還需要解決其他一些問題，我們后續章節也將繼續深耕：） 先來看一下 ...