HtmlAgilityPack——解析html和采集网页的神兵利器
HtmlAgilityPack是一个基于.Net的、第三方免费开源的微型类库，主要用于在服务器端解析html文档（在B/S结构的程序中客户端可以用Javascript解析html）。截止到本文发表时， ...
原文：异步网页采集利器CasperJs
在采集网页中，我们会经常遇到采集一些异步加载页面的网页，我们通常用的httpwebrequest类就采集不到了，这个时候我们通常会采用webbrowser来辅助采集，但是.net下自带的webbrowser用起来非常不爽，在获取页面是否加载完毕的时候比较麻烦一些，DocumentCompleted事件遇到Iframe重复触发，而且获取到的源码通常也不是异步加载完之后的源码，往往我们需要加上定时器 ...
2014-12-22 15:41 1 4322 推荐指数：
相关推荐
Fiddler 网页采集抓包利器
最近这段时间，网页采集方面的工作做得比较多。用curl技术开发了一个微信文章聚合类产品，把抓取到的数据转换成json格式，并在android端调用json数据接口加以显示；基于weiphp做了一个掌上头条插件，也是用的网页采集技术；和一个创业团队一起在做一个高考志愿填报系统，所有的数据也是 ...
PHP采集利器：Snoopy
下载地址:http://sourceforge.net/projects/snoopy/ Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。Snoopy正确运行需要你的服务器的PHP版本在4以上，并且支持PCRE（Perl Compatible Regular ...
利用nodejs+phantomjs+casperjs采集淘宝商品的价格
因为一些业务需求需要采集淘宝店铺商品的销售价格,但是淘宝详情页面的价格显示是通过js动态调用显示的.所以就没法通过普通的获取页面html然后通过正则或者xpath的方式获取到想到的信息了. 所幸我们现在有了casperjs.这个是一个基于Phantomjs的库,而Phantomjs则是一个 ...
Fiddler 网页采集抓包利器__手机app抓包
用curl技术开发了一个微信文章聚合类产品，把抓取到的数据转换成json格式，并在android端调用json数据接口加以显示； 基于weiphp做了一个掌上头条插件，也是用的网页采集技术；和一个创业团队一起在做一个高考志愿填报系统，所有的数据也是从别的地方抓取。 总而言之，网页抓取与网页采集 ...
异步编程利器：CompletableFuture详解
吧。 Future是Java5新加的一个接口，它提供了一种异步并行计算的功能。如果主线程需要执行一个很耗时的 ...
提取网页的markdown表格利器
在线Markdown表格转换器 markdown表格转换器，蛮好用的。偶然发现的开源工具，推荐一波。 这是目标链接:https://docs. ...
异步任务利器Celery(一)介绍
django项目开发中遇到过一些问题，发送请求后服务器要进行一系列耗时非常长的操作，用户要等待很久的时间。可不可以立刻对用户返回响应，然后在后台运行那些操作呢？ crontab定时任务很难达到这样的要求 ，异步任务是很好的解决方法，有一个使用python写的非常好用的异步任务工具Celery ...