最近应朋友的邀请，帮忙做了个简单的爬虫程序，要求不高，主要是方便对不同网站的爬取进行扩展，获取到想要的数据信息即可。当然，基于数据的后期分析功能是后话，以后的随笔我会逐步的介绍。 开源的爬虫框架比较多，之前我研究过java的nutch,同时它还兼备基于Lucene ...

本文所有打赏将全数捐赠于 NCC（NCC 的资金目前由 倾竹大人 负责管理），请注明捐赠于 NCC。捐赠情况将由倾竹大人在此处公示。 DotnetSpider 至力于打造一个轻量化、高效率、易开发、可管理的一体化爬虫框架。它的核心要素是URL调度、基本的网页内容下载器、基于爬虫 ...

一 windows 下安装docker 二 .net core 项目 新建一个空的ASP.NET Core Web 应用程序 在该项目的目录下执行dotnet publish,可以看到在bin\Debug\netcoreapp2.1目录下生成publish 在publish目录 ...

[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [一] 初衷与架构设计 一 ，为什么要造轮子 有兴趣的同学可以去各大招聘网站看一下爬虫工程师的要求，大多是JAVA，PYTHON甚至于还有NODEJS，C++，再或者在开源中国查询C#的爬虫，仅有几个非常简单 ...

直接贴代码： Program.cs config.json .csproj 谢谢浏览！ ...

[DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 上一篇介绍的基本的使用方式，自由度很高，但是编写的代码相对就多了。而我所在的行业其实大部分都是定题爬虫, 只需要采集指定的页面 ...

[DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 上一篇介绍的基本的使用方式，自由度很高，但是编写的代码相对就多了。而我所在的行业其实大部分都是定题爬虫, 只需要采集指定的页面 ...

一、前言 至今为止编程开发已经11个年头，从 VB6.0,ASP时代到ASP.NET再到MVC, 从中见证了.NET技术发展，从无畏无知的懵懂少年，到现在的中年大叔，从中的酸甜苦辣也只有本人自知。随着岁月的成长，技术也从原来的三层设计到现在的领域驱动设计，从原来的关系型数据库 ...