《C# 爬虫 破境之道》：第一境 爬虫原理 — 第一节：整体思路
在构建本章节内容的时候，笔者也在想一个问题，究竟什么样的采集器框架，才能算得上是一个“全能”的呢？就我自己以往项目经历而言，可以归纳以下几个大的分类： 根据通讯协议：HTTP的、HTTPS ...
原文：《C# 爬虫 破境之道》：概述
第一节：写作本书的目的 关于笔者 张晓亭 Mike Cheers ， 年出生，内蒙古辽阔的大草原是我的故乡。 没有高学历，没有侃侃而谈的高谈阔论，拥有的就是那一份对技术的执著，对自我价值的追求。 我是谁，其实并不重要，我是高级开发 我是架构师 我是技术经理，这些都是我，跟各位没有半毛钱关系。最重要的是，我能给读者带来什么。接下来的日子里，就看看本书能给各位带来什么惊喜，也许到最后，你都不会记得我 ...
2019-12-09 12:14 0 256 推荐指数：
相关推荐
《C# 爬虫 破境之道》：第一境 爬虫原理 — 第二节：WebRequest
本节主要来介绍一下，在C#中制造爬虫，最为常见、常用、实用的基础类 ------ WebRequest、WebResponse。 先来看一个示例 [1.2.1]： 运行以上代码，我们能看到类似如下的输出： 一只爬虫小幼崽儿，就如此轻松的诞生了~ 示例 ...
《C# 爬虫 破境之道》：第二境 爬虫应用 — 第三节：处理压缩数据
续上一节内容，本节主要讲解一下Web压缩数据的处理方法。 在HTTP协议中指出，可以通过对内容压缩来减少网络流量，从而提高网络传输的性能。 那么问题来了，在HTTP中，采用的是什么样的压缩格式和机 ...
《C# 爬虫 破境之道》：第一境 爬虫原理 — 第四节：同步与异步请求方式
前两节，我们对WebRequest和WebResponse这两个类做了介绍，但两者还相对独立。本节，我们来说说如何将两者结合起来，方式有哪些，有什么不同。 1.4.1 说结合，无非就是我们如何 ...
《C# 爬虫 破境之道》：第二境 爬虫应用 — 第四节：小说网站采集
之前的章节，我们陆续的介绍了使用C#制作爬虫的基础知识，而且现在也应该比较了解如何制作一只简单的Web爬虫了。 本节，我们来做一个完整的爬虫系统，将之前的零散的东西串联起来，可以作为一个爬虫项目运作流程的初探，但实际项目中，还需要解决其他一些问题，我们后续章节也将继续深耕：） 先来看一下 ...
《C# 爬虫 破境之道》：第二境 爬虫应用 — 第六节：反爬策略研究
之前的章节也略有提及反爬策略，本节，我们就来系统的对反爬、反反爬的种种，做一个了结。 从防盗链说起： 自从论坛兴起的时候，网上就有很多人会在论坛里发布一些很棒的文章，与当下流行的“点赞”“分享”一 ...
《C# 爬虫 破境之道》：第二境 爬虫应用 — 第五节：小总结带来的优化与重构
在上一节中，我们完成了一个简单的采集示例。本节呢，我们先来小结一下，这个示例可能存在的问题： 没有做异常处理 没有做反爬应对策略 没有做重试机制 没有做并发限制 …… 呃 ...
《C# 爬虫 破境之道》：第二境 爬虫应用 — 第七节：并发控制与策略
我们在第五节中提到一个问题，任务队列增长速度太快，与之对应的采集、分析、处理速度远远跟不上，造成内存快速增长，带宽占用过高，CPU使用率过高，这样是极度有害系统健康的。 我们在开发采集程序的时候，总 ...