本人第一個開源代碼,NETSpider 網絡蜘蛛采集工具


NETSpider網站數據采集軟件是一款基於.Net平台的開源軟件。
軟件部分功能是基本Soukey軟件進行開發的.這個版本采用VS2010+.NET3.5進行開發的.
NETSpider采摘當前提供的主要功能如下:

1. 多任務多線程數據采集,支持POST方式(待定);
2. 可采集Ajax頁面;
3. 支持Cookie,支持手工登錄采集數據;
4. 支持采集事務;
5. 支持數據自動及手工導出,導出格式為:文本、Excel、Access、MSSql、Mysql等;
6. 支持在線發布數據;
7. 支持導航網址的采集,導航深度不限;
8. 支持自動翻頁;
9. 支持文件下載,可以采集圖片、Flash及其他文件;
10. 支持采集結果數據的加工,包括替換、附前綴后綴、截取等操作,支持正則;
11. 采集網址定義不僅支持基本參數定義,也可外接字典數據作為網址參數,進行數據采集;
12. 支持一個任務多實例運行;
13. 提供計划任務,計划任務支持NETSpider采集任務、外部可執行文件任務、數據庫存儲過程任務(還在開發中);
14. 計划任務執行周期支持每天、每周及自定義運行間隔;最小單位為:半小時;
15. 支持任務觸發器,即可在采集任務完成后,自動觸發執行其他任務(包括可執行文件或存儲過程)。
16. 完善的日志功能:系統日志、任務執行日志、出錯日志等等;

17. 系統提供MINI瀏覽器可用於捕獲Cookie或POST數據;


NETSpider采集器並不限制您是否商用此軟件,源碼完全開放,

===================以下為更新內容===================================

1. NETSpider於2014年10月1日開放

 

 

相關源碼下載:http://git.oschina.net/kingkoo1985/NETSpider/

 

1.目前這個版本還有很多的驗證未做處理,沒有時間(花了兩周的樣子寫成這樣子),所以添加的時候請按規定填寫數據

2.還有部分功能未實現.等有空我會繼續完善的

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM