最近在做一个书城项目，数据用爬虫爬取，百度了一下找到这个网站，以择天记这本小说为例。 爬虫用到了几个模块，cheerio，superagent，async。 superagent是一个http请求模块，详情可参考链接。 cheerio是一个有着jQuery类似语法的文档解析模块，你可以简单 ...

聊聊并发与并行 并发我们经常提及之，不管是web server，app并发无处不在，操作系统中，指一个时间段中几个程序处于已经启动运行到完毕之间，且这几个程序都是在同一处理机上运行，并且任一个时间点只有一个程序在处理机上运行。很多网站都有并发连接数量的限制，所以当请求发送太快的时候会导致返回值 ...

async/await 继发执行与并发执行，看如何控制 两个异步函数 foo bar 继发执行 并发执行 ...

注：如您下载最新的nodegrass版本，由于部分方法已经更新，本文的例子已经不再适应，详细请查看开源地址中的例子。一、为什么我要写这样一个模块？ 源于笔者想使用Node.js写一个爬虫，虽然Node.js官方API提供的请求远程资源的方法已经非常简便，具体参考 http ...

之前写了个现在看来很不完美的小爬虫，很多地方没有处理好，比如说在知乎点开一个问题的时候，它的所有回答并不是全部加载好了的，当你拉到回答的尾部时，点击加载更多，回答才会再加载一部分，所以说如果直接发送一个问题的请求链接，取得的页面是不完整的。还有就是我们通过访问链接下载图片的时候，是一张一张来下 ...

安装 npm install async --save 地址 https://github.com/caolan/async Async的内容主要分为三部分 流程控制： 简化九种常见的流程的处理 集合处理：如何使用异步操作处理集中的数据 工具类：几个常用 ...

前言 最近看了些js 并发如何实现，也查阅了一下资料 ，查考了一下demo 日常开发中会遇到并发控制的场景，比如控制请求并发数。那么在 JavaScript 中如何实现并发控制呢？ 并发控制。 下面有8个待办任务要执行，而我们希望限制同时执行的任务个数 ...

java写爬虫服务，思路是线程池，任务队列，限制并行线程数即可。 go要用另一种设计思路，不能在线程层面限制，协程的异步请求，如果不作处理，并行发出所有网络请求，因网络请求数过多，会抛出异常 低版本的go可以并行执行map的操作，高版本会报异常，需要把map改为array,改起来 ...