1 引言 数月前写过某网站(请原谅我的掩耳盗铃)的爬虫,这两天需要重新采集一次,用的是scrapy-redis框架,本以为二次爬取可以轻松完成的,可没想到爬虫启动没几秒,出现了大堆的重试提示,心里顿时就咯噔一下,悠闲时光估计要结束了。 仔细分析后,发现是获取店铺列表的请求出现问题,通过浏览器抓 ...
x 前言 大家好,相信点进来看的小伙伴都对爬虫非常感兴趣 绝对不是因为封面 , 博主也是一样的。 最近由于疫情的原因,大家都不能出门玩耍,所以博主准备分享一些有趣的学习经历给大家。 昨天,博主逛B站时偶然 非常偶然 发现了一个不同寻常的教程 揍是下面这个 教程链接: 学习完之后,可以说是收获满满啊。 所以今天也给大家安利一下这个教程,顺便也整理一下自己学的知识。 x 准备工作 目标站点: rob ...
2020-03-07 18:33 0 692 推荐指数:
1 引言 数月前写过某网站(请原谅我的掩耳盗铃)的爬虫,这两天需要重新采集一次,用的是scrapy-redis框架,本以为二次爬取可以轻松完成的,可没想到爬虫启动没几秒,出现了大堆的重试提示,心里顿时就咯噔一下,悠闲时光估计要结束了。 仔细分析后,发现是获取店铺列表的请求出现问题,通过浏览器抓 ...
投简历阶段 又到了金三银四的这段日子了,看着大家纷纷投简历找工作,抱着有事儿没事儿凑热闹的想法也参加到了投简历的大队伍中。先自我介绍一下,本人三年.NET loser一枚,现就职于某游戏运营公司,l ...
其实外包是很多人在职业生涯中都会遇到的问题,也就是接私活。今天我来说说我遇到过的一次外包经历,我要说的这次外包经历既不是我的第一个外包项目,也不是最后一个,之所以要记下来,是因为这是我目前为止遇到过的最坑的一次,导致我整个2015年都在为这一次外包进行补救。不过,我写这篇文章并不是为了抱怨 ...
今天业务突然来了个爬虫业务,爬出来的数据以Excel的形式导出,下班前一个小时开始做,加班一个小时就做好了。因为太久没做爬虫了!做这个需求都是很兴奋! 需求说明 访问网站 (循环)获取页面指定数据源 根据页面数据源再(循环)访问详情数据 记录详情数据,以Excel形式导出 ...
组件嵌套了很多,传值过于麻烦,项目又着急,暂时粗暴一点解决~~~ 毕竟先解决问题,再优化嘛 ...
有朋友听到我失业了,表示很惊讶,“牛人也会失业?",是的,会的。因为自己不适合那间公司,而且失业对我的发展来说也是件好事。 某天的一个上午,在写着代码,突然被老大叫进了办公室。告诉我,合同期完,公司 ...
日志集中式监控平台上线已经有一段时间,但是大部分情况下只是作为发布或者出问题时查看日志的便利工具使用。平时大家都不怎么主动上去看看。于是前几天把应用的错误日志也加上邮件、Hi和短信报警,马上就收到很多 ...
昨天晚上跟一家公司进行远程视频二面,面试官上来先扔过来一道编程题,要求在文档中手撸代码,不能用IDE编码。 一开始没想好,思路有问题,做到最后发现行不通,于是挂了。。。。。 第二天到公司静下 ...