原文:開源一個C#寫的小爬蟲,簡單實用

出於工作上的需要,兩年前wl 和我一起寫了一個微型的爬蟲庫 目前還稱不上一個爬蟲,僅僅是對一些抓取操作的封裝而已 。后來便一直沒怎么管它,直到最近有時間,我們修復了所有已發現的Bug,完善了一些功能,並對代碼進行了重構。現在將其開源,取名為EasySpider,意為一個簡單實用的抓取庫。開源的目的是希望這個項目能為有同樣需求的朋友們節省一些時間,如果僥幸哪位朋友能用到,我們會倍感榮幸。 ps:本 ...

2012-08-19 23:01 28 8088 推薦指數:

查看詳情

C#一個簡單爬蟲

最近研究C#爬蟲寫法,搞了半天,才在網上很多的寫法中整理出了一個簡單的demo(本人菜鳥,大神勿噴)。一是為了自己記錄一下以免日后用到,二是為了供需要朋友參考。 廢話不多說,上代碼 其中解析html的寫法用到了XPath的語法,大家可以自行百度下,比較簡單。 ...

Mon Jul 16 18:37:00 CST 2018 1 3109
一個簡單實用C#日志類

不管是Web應用還是Windows Forms 應用,系統日志我們都經常用到。日志可以幫助我們跟蹤監視系統的運行狀況,及時發現錯誤,輸出調式信息等。記錄日志的方法很多,比如用文本文件、XML文件、數據庫等。而用文本文件記錄日志是最常用的方法之一。 這里就是一個用文本文件記錄日志的簡單實用 ...

Sat Jun 08 06:13:00 CST 2013 1 5853
一個簡單C#爬蟲程序

    這篇這篇文章主要是展示了一個C#語言如何抓取網站中的圖片。實現原理就是基於http請求。C#給我們提供了HttpWebRequest和WebClient兩個對象,方便發送請求獲取數據,下面看如何實 1,HttpGetAction方法。用於發送請求獲取數據后處理字符串得到圖片 ...

Wed Nov 20 07:36:00 CST 2019 1 475
用Python一個爬蟲吧!

學習了一段時間的web前端,感覺有點看不清前進的方向,於是就寫了一個爬蟲,爬了51job上前端相關的崗位,看看招聘方對技術方面的需求,再有針對性的學習。 我在此之前接觸過Python,也寫過一些小腳本,於是決定用Python來完成這個小項目。 首先說說一個爬蟲的組成部分: 1.目標連接 ...

Tue Sep 11 20:01:00 CST 2018 0 3533
一個簡單的網絡爬蟲

下手。使用baidu,google卻有無法避免的搜索到此站點之外的內容。於是就想如果有一個爬蟲,可以抓取指定域 ...

Sat Dec 27 21:12:00 CST 2014 1 3076
爬蟲淺談一:一個簡單c#爬蟲程序

這篇文章只是簡單展示一個基於HTTP請求如何抓取數據的文章,如覺得簡單的朋友,后續我們再慢慢深入研究探討。 圖1: 如圖1,我們工作過程中,無論平台網站還是企業官網,總少不了新聞展示。如某天產品經理跟我們說,推廣人員想要抓取百度新聞中熱點要聞版塊提高站點百度排名。要抓取百度的熱點要聞 ...

Thu Jun 07 01:30:00 CST 2018 29 30582
C# Dapper 的簡單實用

首先引入dapper PM>Install-Package Dapper (可能會出現因版本問題而安裝失敗詳情見官網:https://stackexchange.github.io/Dappe ...

Fri Oct 11 06:30:00 CST 2019 0 327
C# 一個生成隨機漢語名字的程序

最近因為要做數據庫相關的測試,頻繁使用到測試數據,手動添加太過於麻煩,而且復用性太差,因此干脆花了點時間寫了一個生成隨機姓名和相關數據的類,貼在這里,有需用的同志們可以參考一下。代碼本身質量不好,也不算規范,各取所需莫要取笑-。- 其中姓氏取得所有百家姓的姓,名字只是從下面一百多個 ...

Fri Jul 31 02:55:00 CST 2015 0 5453
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM