HtmlAgilityPack——解析html和采集網頁的神兵利器
HtmlAgilityPack是一個基於.Net的、第三方免費開源的微型類庫，主要用於在服務器端解析html文檔（在B/S結構的程序中客戶端可以用Javascript解析html）。截止到本文發表時， ...
原文：異步網頁采集利器CasperJs
在采集網頁中，我們會經常遇到采集一些異步加載頁面的網頁，我們通常用的httpwebrequest類就采集不到了，這個時候我們通常會采用webbrowser來輔助采集，但是.net下自帶的webbrowser用起來非常不爽，在獲取頁面是否加載完畢的時候比較麻煩一些，DocumentCompleted事件遇到Iframe重復觸發，而且獲取到的源碼通常也不是異步加載完之后的源碼，往往我們需要加上定時器 ...
2014-12-22 15:41 1 4322 推薦指數：
相關推薦
Fiddler 網頁采集抓包利器
最近這段時間，網頁采集方面的工作做得比較多。用curl技術開發了一個微信文章聚合類產品，把抓取到的數據轉換成json格式，並在android端調用json數據接口加以顯示；基於weiphp做了一個掌上頭條插件，也是用的網頁采集技術；和一個創業團隊一起在做一個高考志願填報系統，所有的數據也是 ...
PHP采集利器：Snoopy
下載地址:http://sourceforge.net/projects/snoopy/ Snoopy是一個php類，用來模擬瀏覽器的功能，可以獲取網頁內容，發送表單。Snoopy正確運行需要你的服務器的PHP版本在4以上，並且支持PCRE（Perl Compatible Regular ...
利用nodejs+phantomjs+casperjs采集淘寶商品的價格
因為一些業務需求需要采集淘寶店鋪商品的銷售價格,但是淘寶詳情頁面的價格顯示是通過js動態調用顯示的.所以就沒法通過普通的獲取頁面html然后通過正則或者xpath的方式獲取到想到的信息了. 所幸我們現在有了casperjs.這個是一個基於Phantomjs的庫,而Phantomjs則是一個 ...
Fiddler 網頁采集抓包利器__手機app抓包
用curl技術開發了一個微信文章聚合類產品，把抓取到的數據轉換成json格式，並在android端調用json數據接口加以顯示； 基於weiphp做了一個掌上頭條插件，也是用的網頁采集技術；和一個創業團隊一起在做一個高考志願填報系統，所有的數據也是從別的地方抓取。 總而言之，網頁抓取與網頁采集 ...
異步編程利器：CompletableFuture詳解
吧。 Future是Java5新加的一個接口，它提供了一種異步並行計算的功能。如果主線程需要執行一個很耗時的 ...
提取網頁的markdown表格利器
在線Markdown表格轉換器 markdown表格轉換器，蠻好用的。偶然發現的開源工具，推薦一波。 這是目標鏈接:https://docs. ...
異步任務利器Celery(一)介紹
django項目開發中遇到過一些問題，發送請求后服務器要進行一系列耗時非常長的操作，用戶要等待很久的時間。可不可以立刻對用戶返回響應，然后在后台運行那些操作呢？ crontab定時任務很難達到這樣的要求 ，異步任務是很好的解決方法，有一個使用python寫的非常好用的異步任務工具Celery ...