本人最近用python开发着爬虫相关的项目，在上个月就已经把爬虫的相关代码写得差不多了，因为春节，项目停滞了十多天。最近，当我再次运行之前的爬虫项目的时候，What？怎么不行了？？本来好好的，报了521错误。我只是一个爬虫菜鸟，还是第一次接触到这个错误。然后我就去百度了。百度一圈后，发现这是 ...

0.序 我同学论文需要数据建模，想用爬虫软件爬取数据，就问有没有人会用爬虫软件，我回了句：我不会用爬虫软件，但我会写爬虫。然后爬虫事件就拉开了序幕。 1. 我同学要的数据是P2P借款人信息，她就选了翼龙贷上的数据，我先去浏览了翼龙贷网站，然后知道了数据的位置。先要进入产品列表 ...

起因：工作中爬取页面遭遇521状态码 scrapy中遭遇521状态码，会被无视，而不会被爬虫处理。 通过F12开发者工具 可知 通过在下载器中间件的查看，可以得知是可以在process_response中获取response.text 实际上是js代码，一段不规则 ...

前言 最近配合某客户做了一个关于XX系统的压力测试，其实经过和客户的沟通得知，客户此系统上线后压力并不大，但由于应用方前期的表现不是特别尽如人意，对此不太信任，所以要求本次压力测试着重观察。 参与 ...

2018年12月5日 第一阶段 虽然网上教程很多，但是还是记录一次完整的步骤 1.安装nodejs,网上一堆的教程，基本上下载后傻瓜式一路next 2.安装npm,网上一堆的教程，也是基本下载后傻瓜式一路next 3.安装完成运行cmd，查看是否安装成功 4.安装cnpm ...

记一次讲故事机器人的开发-我有故事，让机器人来读 最近工作较忙，回家闲下来只想闭目休息，一分钟屏幕都不想再看，然而我又想追更之前看的小说，于是，需求来了——我需要一个给我讲故事的机器人！ 浏览器或者阅读器App里其实也有朗读功能，但是比较僵硬，总是将引人入胜的情节念成流水账，分分钟让人弃坑 ...

，应用卡死时候数据库，redis都正常，并且无特殊错误日志。开始怀疑是sandbox环境机器问题，测试 ...

一：背景 1. 讲故事 昨天继续还技术债，优化一轮后的程序拉到线上后内存继续忽高忽低，低的时候20G，高的时候30G，过了一会又下降了几个G，毫无疑问，程序中有什么集合或者什么操作占用了大量内存，所以准备在28，29G的时候抓dump分析分析。 二：解决思路 从快照中找问题就像看病一样 ...