最近應朋友的邀請，幫忙做了個簡單的爬蟲程序，要求不高，主要是方便對不同網站的爬取進行擴展，獲取到想要的數據信息即可。當然，基於數據的后期分析功能是后話，以后的隨筆我會逐步的介紹。 開源的爬蟲框架比較多，之前我研究過java的nutch,同時它還兼備基於Lucene ...

本文所有打賞將全數捐贈於 NCC（NCC 的資金目前由 傾竹大人 負責管理），請注明捐贈於 NCC。捐贈情況將由傾竹大人在此處公示。 DotnetSpider 至力於打造一個輕量化、高效率、易開發、可管理的一體化爬蟲框架。它的核心要素是URL調度、基本的網頁內容下載器、基於爬蟲 ...

一 windows 下安裝docker 二 .net core 項目 新建一個空的ASP.NET Core Web 應用程序 在該項目的目錄下執行dotnet publish,可以看到在bin\Debug\netcoreapp2.1目錄下生成publish 在publish目錄 ...

[開源 .NET 跨平台 數據采集 爬蟲框架: DotnetSpider] [一] 初衷與架構設計 一 ，為什么要造輪子 有興趣的同學可以去各大招聘網站看一下爬蟲工程師的要求，大多是JAVA，PYTHON甚至於還有NODEJS，C++，再或者在開源中國查詢C#的爬蟲，僅有幾個非常簡單 ...

直接貼代碼： Program.cs config.json .csproj 謝謝瀏覽！ ...

[DotnetSpider 系列目錄] 一、初衷與架構設計 二、基本使用 三、配置式爬蟲 四、JSON數據解析與配置系統 五、如何做全站采集 上一篇介紹的基本的使用方式，自由度很高，但是編寫的代碼相對就多了。而我所在的行業其實大部分都是定題爬蟲, 只需要采集指定的頁面 ...

[DotnetSpider 系列目錄] 一、初衷與架構設計 二、基本使用 三、配置式爬蟲 四、JSON數據解析與配置系統 五、如何做全站采集 上一篇介紹的基本的使用方式，自由度很高，但是編寫的代碼相對就多了。而我所在的行業其實大部分都是定題爬蟲, 只需要采集指定的頁面 ...

一、前言 至今為止編程開發已經11個年頭，從 VB6.0,ASP時代到ASP.NET再到MVC, 從中見證了.NET技術發展，從無畏無知的懵懂少年，到現在的中年大叔，從中的酸甜苦辣也只有本人自知。隨着歲月的成長，技術也從原來的三層設計到現在的領域驅動設計，從原來的關系型數據庫 ...