写这篇 blog 其实一开始我是拒绝的，因为爬虫爬的就是cnblog博客园。搞不好编辑看到了就把我的账号给封了：）。 言归正传，前端同学可能向来对爬虫不是很感冒，觉得爬虫需要用偏后端的语言，诸如 php ， python 等。当然这是在 nodejs 前了，nodejs 的出现 ...

生活中遇到了问题，想去成都买个房，那哪个区域性价比高肯定要考虑一番了，最粗暴直接的就是看租售比，遂打算去链家网爬上各个小区的卖房单价和租房单价比上一比，python写爬虫无疑是最流行的了，但最近在研究node，感觉写个爬虫强化一下node姿势水平还是挺不错的。开整。 首先http请求工具 ...

简介 基于 Node.JS 爬取 博客园 1W+博文，对博文内容做关键词提取，生成词云。 演示 安装 安装 git、Node.JS、MongoDB、Yarn 克隆代码 如果觉得 ...

在大数据深入人心的时代，网络数据采集作为网络、数据库与机器学习等领域的交汇点，爬虫技术已经成为满足个性化网络数据需求的最佳实践。 而数据采集采集就需要使用到网络爬虫（Web crawler），网络爬虫也会被称为：网络铲（Web scraper，可类比于考古用的洛阳铲）、网络蜘蛛（Web ...

爬虫技术的奥秘 　　爬虫技术的牛逼体现的不一定是要会多少爬虫技术手段，而是你掌握了多少种破解策略，而面试时与面试官交流的是目标网站的反爬策略。 你是如何一步一步破解的，讲解破解的思路。一个牛逼的爬虫开发者是如何养成？每天都爬一到两个网站，无论这个网站大还是小，每天都坚持爬取，然后总结 ...

nodejs结合cheerio实现简单爬虫 View Code 显示结果： View Code ...

看了几天的nodejs，的确是好用，全当是练手了，就写了一个爬虫工具。 爬虫思路都是一致的，先抓取页面数据，然后分析页面，获取到所需要的数据，最后获得这些数据，是写入到硬盘，还是显示到网页，自己看着办。 其中最难的是分析页面，如果不用其他工具，那就只能用正则表达式来分析了。这里采用 ...

其中express是服务端框架 request相当于前端的ajax请求 cheerio相当于jq 开始 首先我们先新建一个 crawler目录 执行 npm install express -g 命令 和 npm install ...