利用scrapy抓取蛋壳公寓上的房源信息,以北京市为例,目标url:https://www.dankegongyu.com/room/bj 思路分析 每次更新最新消息,都是在第一页上显示,因此考虑隔一段时间自动抓取第一页上的房源信息,实现抓取最新消息。 利用redis的set数据结构的特征 ...
因为有需求,所以就写了一个简单的脚本来实时监测房源。 平时对node.js用的比较多,所以就用node.js来写,怎么方便咱怎么搞。 . . 号更新 热心的小伙伴告诉我,房源查询现在加了一层验证码,所以代码暂时不能使用了。请大家先手动查询吧,有时间我会看一下验证码的事情。 大家新年快乐 直接提供打包好的代码,下载下来简单配置一些就可以运行了。前提是你的电脑要先安装好node.js 下载地址 :链接 ...
2017-08-21 06:19 4 4727 推荐指数:
利用scrapy抓取蛋壳公寓上的房源信息,以北京市为例,目标url:https://www.dankegongyu.com/room/bj 思路分析 每次更新最新消息,都是在第一页上显示,因此考虑隔一段时间自动抓取第一页上的房源信息,实现抓取最新消息。 利用redis的set数据结构的特征 ...
我的服务器是使用tomcat的,时不时tomcat的进程会突然结束掉,不知道为什么,从日志上看也没有任何可疑之处,貌似就这样突然没了,接下来的日志都是重新启动tomcat之后打印的了。原因找不到,但要找变通方法,不要出了问题后总要上服务器去自己重启tomcat。我打算利用系统的cron服务来自动 ...
离职的时候,需要把写的项目拷走,但是每个项目下都有node_modules,这文件非常大,当然要删除再带走,本来想写shell脚本,但一想不是每次开发都有mac,所以用node写,网上找了些代码再经过自己的改良 node 的删除 有两种 一种是删除文件 unlinkSync(sync代表这是 ...
今天,为了冲排行榜,我去刷水题了。我一共看到了N道水题,做出第i道题需要a[i]分钟,并获得b[i]点积分。我最多可以刷T分钟水题,问我最多能获得多少积分? 【输入】 第一行两个正整数N和T,接下来的N行每行两个正整数数a[i]和b[i]。 【输出】 一个数,表示我最多可以获得的积分 ...
1.下载一个sshpass工具 2.安装sshpass,安装到tools文件夹 3.把tools文件夹的路径加入到/etc/bashrc vim /etc/bashrc 最后一行 : export PATH="/Users/lukairui/tools ...
前言 当我们进行SQL注入攻击时,当发现无法进行union注入或者报错等注入,那么,就需要考虑盲注了,当我们进行盲注时,需要通过页面的反馈(布尔盲注)或者相应时间(时间盲注),来一个字符一个字符的进行猜解。如果手工进行猜解,这就会有很大的工作量。所以这里就使用python写一个自动化脚本来进行猜 ...
这是我刷水题的第四天。有n道水题可刷,做出第i道水题需要a[i]分钟。我最多能刷t分钟水题。我想让空闲时间越少越好,请问空闲时间最少几分钟? 【输入】 第一行两个整数n和t,第二行n个整数,第i个整数a[i]表示做第i道水题所需要的时间。 【输出】 一个整数,表示最少的空闲时间。 【样例 ...
刷金币全自动脚本 | 让Python每天帮你薅一个早餐钱(送源码) 测试开发社区 6天前 文章转载自公众号 AirPython , 作者 星安果 阅读文本大概需要 12 分钟。 1 目 标 场 景 ...