原文:搞node爬虫--puppeteer--记一次大坑

解决办法:升级node,然后重新下载puppeteer插件 设置淘宝镜像下载 npmconfigsetpuppeteer download host https: npm.taobao.org mirrors npm install puppeteer 问题:报错 node: UnhandledPromiseRejectionWarning: Error: Failed to launch the ...

2021-01-04 21:52 1 1593 推荐指数:

查看详情

一次大量 TCP 连接失败

背景 在一段没有日志的历史遗留代码上面加入监控部署后不久,就收到了服务调用成功率低的告警,真是哗了狗了 解决过程 client端在线上单机部署,根据监控上面的返回码比例看出失败原因都是链接失 ...

Mon Dec 21 03:19:00 CST 2015 0 2339
一次大厂的面试过程

前言 2019年6月中旬,实在厌倦了之前平平淡淡的工作和毫不起眼的薪资,不顾亲人的反对,毅然决然地决定只身前往沿海城市,想着找到一份更加具有挑战性的工作,来彻彻底底地重新打磨自己,同时去追求更好的薪 ...

Mon Nov 04 00:43:00 CST 2019 6 1351
一次node爬虫经历,手把手教你爬虫

今天业务突然来了个爬虫业务,爬出来的数据以Excel的形式导出,下班前一个小时开始做,加班一个小时就做好了。因为太久没做爬虫了!做这个需求都是很兴奋! 需求说明 访问网站 (循环)获取页面指定数据源 根据页面数据源再(循环)访问详情数据 记录详情数据,以Excel形式导出 ...

Sat Nov 30 10:27:00 CST 2019 0 1252
自己的第一次大厂面试的失败——阿里春招(2020毕业生)

结果其实并没有什么出乎意料,只是还是有些遗憾,即使知道总将会失败,我觉得我也可以在失败前,尽量多争取一些,获得更多的面试经验,但我在第一次电面开始的第5分钟,就直接婉言拒绝了继续面试的请求。 一:背景   博主是一个三本独立院校的大三软件工程在读学生,在身边大多数选择继续考研求学的大环境下毅然 ...

Thu Apr 25 22:39:00 CST 2019 0 554
一次大数据量后台服务的性能优化

背景   最近被分配到的一个需求,数据量每周新增上千万,预计两个月就会破亿,这里记录一下对这个服务的性能优化的过程。 正文 需求介绍   首先大致介绍一下这个需求的内容。这个需求是一个周报 ...

Mon Jul 19 07:45:00 CST 2021 21 4444
一次大规模数据迁移和加密

  公司的核心业务合作伙伴淘宝网,最近出现泄漏用户信息的现象,找了好久找不到根源,于是乎,淘宝那边决定对所有敏感数据进行加密,从出口和入口都走密文,于是乎,我们的工作量就来了。   我们的一个底单数 ...

Fri Mar 03 01:38:00 CST 2017 1 1162
Puppeteer--参考介绍

Puppeteer 是 Chrome 开发团队在 2017 年发布的一个 Node.js 包,用来模拟 Chrome 浏览器的运行。功能比PhantomJs 要强大很多。 一、什么是 Chrome DevTool Protocol 1.CDP ...

Tue Jan 19 04:24:00 CST 2021 0 827
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM