今年学习了几个月nodejs。暑假期间,闲的无事,都说学习爬虫一定要爬一爬教务系统,不过更多的人爬教务系统用的都是python,正好最近在学nodejs,于是就想,我可以用nodejs实现一个吗?说干就干。 我有两种思路:一是利用selenium之类的自动化测试来实现爬虫,二是分析教务系统的请求 ...
. 本爬虫目标 模拟登陆URP教务系统 查询 本学期 历年 成绩 计算历年成绩的绩点 下面是一点废 私 话 货 : 一般情况,查询成绩大家会通过如下方式: 最终可以看到你的成绩 吐槽一下,查询成绩必须使用IE内核的浏览器,在IE 中还需要设置兼容性,非IE内核的浏览器是无法查看成绩的。 好。我们查看一下源代码,或者凭经验可以发现,,这个 成绩 是嵌套在一个frame框架中的。 啊,,好蛋疼啊。。 ...
2016-12-23 19:01 4 4462 推荐指数:
今年学习了几个月nodejs。暑假期间,闲的无事,都说学习爬虫一定要爬一爬教务系统,不过更多的人爬教务系统用的都是python,正好最近在学nodejs,于是就想,我可以用nodejs实现一个吗?说干就干。 我有两种思路:一是利用selenium之类的自动化测试来实现爬虫,二是分析教务系统的请求 ...
使用python的requests库简单爬取,使用xpath解析内容 可以获取个人信息、个人照片、成绩单和课表 github地址:https://github.com/PythonerKK/GZCC-Spider 首先使用浏览器开发者调试工具找到登录页面的准确地址:http ...
教你用python爬虫监控教务系统,查成绩快人一步!这几天考了大大小小几门课,教务系统又没有成绩通知功能,为了急切想知道自己挂了多少门,于是我写下这个脚本。 设计思路:设计思路很简单,首先对已有的成绩进行处理,变为list集合,然后定时爬取教务系统查成绩的页面,对爬取的成绩也处理成list集合 ...
用Python爬虫爬取广州大学教务系统的成绩(内网访问) 在进行爬取前,首先要了解: 1、什么是CSS选择器? 每一条css样式定义由两部分组成,形式如下: [code] 选择器{样式} [/code] 在{}之前的部分就是“选择器”。“选择器”指明了{}中的“样式”的作用对象,也就是“样式 ...
上一节我们知道了SRP的作用和基本用法,现在来看一下我们的主角--URP是个怎样的管线把! Unity2019.3及之后的版本才能看到URP这个package,前身是LWRP,可以创建默认管线项目然后手动导入,或者直接创建URP项目。导入之后我们开始分析URP的代码: 回到我们最开始学习SRP ...
上节我们学习了LitShader大致是怎样的起作用的,留下了PBR相关的疑问,这节我们来解答一下URP下的PBR究竟做了什么优化。 要知道做了什么优化,就必须知道原来的PBR是什么样子。 Unity原来的Standard是这样写的: 我们直接看最后color的计算 ...
昨天学习了简单的爬虫入门,所以临时起意写了一个爬取成绩的爬虫,下面讲述写爬虫全过程,因为刚学爬虫,所以找到了一个老的登录页面,不需要输入验证码 此处隐去学校信息:http://xxxjwc.its.xxu.edu.cn/jsxsd/ 成绩页面:http ...
想试着模拟登陆一些网站,这次先拿学校的教务管理系统练练手,写一下登陆的流程。 1.我们登陆的url:http://222.195.8.201,但我们所填的密码不是提交到这个页面上去,检查一下页面代码 我们看到提交后post数据是提交到pass.asp页面。或者在chrome上F12 ...