学习笔记 前言 近期做一个数据抓爬工具，最开始使用的是C#控制台应用，同时正则表达式去过滤数据，看着还行，可每次运行都依附于.net framework很是不爽，于是想整点其他的方法。本人还是比较喜欢javascript的，思来想去决定用服务器端的javascript来试试！ 环境、工具准备 ...

,学习曲线低,内部依赖nodejs原生的请求api,适用于nodejs环境下 npm instal ...

概要： 这篇博文主要讲一下如何使用Phantomjs进行数据抓取，这里面抓的网站是太平洋电脑网估价的内容。主要是对电脑笔记本以及他们的属性进行抓取，然后在使用nodejs进行下载图片和插入数据库操作。 先进行所有页面的内容进行抓取 上面部分代码可以直接抓取 ...

前段时间老师让我爬取淘宝的商品列表以及其商品详情数据，期间遇到了很多问题。最困难的就是淘宝的价格数据是以Ajax异步加载的，这些数据暂时还没有能力获取到。 下面介绍一下基本思路。 首先，通过抓取商品列表的商品ID获取商品的身份标识，然后根据商品ID跳转到具体的商品列表，对其他属性进行抓取 ...

在进行网页数据抓取时我们要先安装一个模块 requests 通过终端安装如下图 因为我之前安装过了，所以不会显示安装进度条，安装也非常简单，如果你配置好环境变量的话，你只需要执行以下命令 pip install requests 如果提示要升级，就按下面升级pip ...

打算做个自己在博客园的博客APP，首先要能访问首页获取数据获取首页的文章列表，第一步抓取博客首页文章列表内容的功能已实现，在小米2S上的效果图如下： 思路是：通过编写的工具类访问网页，获取页面源代码，通过正则表达式得到匹配的数据进行处理显示到ListView上 简单说明下要点 ...

var http = require("http"); var iconv = require('iconv-lite'); var option = { hostname: "st ...

　　前段时间，我家妹子公司老板叫她去将法国亚马逊评论列表的前100页共1000个评论用户的联系方式找出来。1000个用户，要一个个的去看再记录下来，而且并不是每个评论用户都会将个人的联系方式留下来。那么问题来了，这样费时费力的工作如果人工去做的话，那么就是花了两天的时间也就找了前30页的数据 ...