《C# 爬蟲 破境之道》：第一境 爬蟲原理 — 第四節：同步與異步請求方式
前兩節，我們對WebRequest和WebResponse這兩個類做了介紹，但兩者還相對獨立。本節，我們來說說如何將兩者結合起來，方式有哪些，有什么不同。 1.4.1 說結合，無非就是我們如何發送一個Request以及如何得到一個Response。 WebRequest提供了三組方 ...
原文：《C# 爬蟲 破境之道》：第二境 爬蟲應用 — 第四節：小說網站采集
之前的章節，我們陸續的介紹了使用C 制作爬蟲的基礎知識，而且現在也應該比較了解如何制作一只簡單的Web爬蟲了。 本節，我們來做一個完整的爬蟲系統，將之前的零散的東西串聯起來，可以作為一個爬蟲項目運作流程的初探，但實際項目中，還需要解決其他一些問題，我們后續章節也將繼續深耕： 先來看一下解決方案的整體結構： 我們也希望我們的爬蟲框架能夠被應用到跨平台的項目中，所以，本項目采用了.Net Core F ...
2020-02-17 09:15 0 650 推薦指數：
相關推薦
《C# 爬蟲 破境之道》：第二境 爬蟲應用 — 第三節：處理壓縮數據
續上一節內容，本節主要講解一下Web壓縮數據的處理方法。 在HTTP協議中指出，可以通過對內容壓縮來減少網絡流量，從而提高網絡傳輸的性能。 那么問題來了，在HTTP中，采用的是什么樣的壓縮格式和機制呢？ 首先呢，先說壓縮格式，主要有三種： DEFLATE，是一種使用 ...
《C# 爬蟲 破境之道》：第一境 爬蟲原理 — 第二節：WebRequest
本節主要來介紹一下，在C#中制造爬蟲，最為常見、常用、實用的基礎類 ------ WebRequest、WebResponse。 先來看一個示例 [1.2.1]： 運行以上代碼，我們能看到類似如下的輸出： 一只爬蟲小幼崽兒，就如此輕松的誕生了~ 示例 ...
《C# 爬蟲 破境之道》：第二境 爬蟲應用 — 第五節：小總結帶來的優化與重構
在上一節中，我們完成了一個簡單的采集示例。本節呢，我們先來小結一下，這個示例可能存在的問題： 沒有做異常處理 沒有做反爬應對策略 沒有做重試機制 沒有做並發限制 …… 呃，看似平靜的表面下還是隱藏着不少殺機的…… 但本節不打算對付上述問題，而是先關注一個隱藏更深 ...
《C# 爬蟲 破境之道》：第二境 爬蟲應用 — 第七節：並發控制與策略
我們在第五節中提到一個問題，任務隊列增長速度太快，與之對應的采集、分析、處理速度遠遠跟不上，造成內存快速增長，帶寬占用過高，CPU使用率過高，這樣是極度有害系統健康的。 我們在開發采集程序的時候，總是希望能夠盡快將數據爬取下來，如果總任務數量很小（2~3K請求數之內），總耗費時長很短（1~2分鍾 ...
《C# 爬蟲 破境之道》：第二境 爬蟲應用 — 第六節：反爬策略研究
之前的章節也略有提及反爬策略，本節，我們就來系統的對反爬、反反爬的種種，做一個了結。 從防盜鏈說起： 自從論壇興起的時候，網上就有很多人會在論壇里發布一些很棒的文章，與當下流行的“點贊”“分享”一 ...
《C# 爬蟲 破境之道》：第一境 爬蟲原理 — 第一節：整體思路
在構建本章節內容的時候，筆者也在想一個問題，究竟什么樣的采集器框架，才能算得上是一個“全能”的呢？就我自己以往項目經歷而言，可以歸納以下幾個大的分類： 根據通訊協議：HTTP的、HTTPS的、TCP的、UDP的； 根據數據類型：純文本的、json的、壓縮包的、圖片的、視頻 ...
《C# 爬蟲 破境之道》：概述
第一節：寫作本書的目的 關於筆者 張曉亭（Mike Cheers），1982年出生，內蒙古遼闊的大草原是我的故鄉。 沒有高學歷，沒有侃侃而談的高談闊論，擁有的就是那一份對技術的執著，對自我價值的追求。 我是誰，其實並不重要，我是高級開發、我是架構師、我是技術經理 ...