爬取CNVD 漏洞
1.背景 挖CNVD漏洞的时候，首先看看产品有没有漏洞已经被提交了，不然白忙活一场。在官网搜索每次展示20个，不方便查看，该代码可实现根据关键字搜索漏洞，将结果保存在excel中。excel展示漏洞标题及时间。 2.使用手册 替换cookie，poc函数传入查询关键字 即可 运行环境 ...
原文：利用selenium爬取cnvd漏洞信息
cnvd使用加速乐，正常访问会产生两次访问，第一次返回一段js代码生成cookie端添加到第二次访问的cookie才能进行成功访问。通过selenium访问一次产生的cookie，再利用session将每次会话的cookie限定，用了一天这个方法就gg了。能力有限，只能用最耗时的方法进行了。 由于是记录cookie，大概浏览器打开访问 次会被ban了，重新打开浏览器可以继续访问。 由于每个月份的 ...
2018-02-08 10:46 0 1140 推荐指数：
相关推荐
【教程】利用Selenium爬取数据
Selenium简介 Selenium是一个web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。【爬虫效率比较低】 安装方法如下： 当然，使用 ...
python3-爬取cnnvd漏洞信息
因为工作需要cnnvd漏洞信息，以前用着集客搜、八爪鱼之类的工具，但对其效果和速度都不满意。最近开始接触学习爬虫，作为初学者，还需要慢慢完善。先记录下第一个爬虫。还想着在多进程和IP代理方向改善学习。 这个是运行情况，速度还是无法忍受，多进程在数据获取应该能快很多，IP代理应该能忽视 ...
利用python爬取新闻信息
一、公司简介 大渡河公司于2000年11月在成都高新区注册成立，主要任务是以龚嘴、铜街子为母体电站，滚动开发大渡河流域水电站，是国家能源集团所属最大的集水电开发建设和运营管理于一体的大型流域水电开发 ...
利用scrapy爬取腾讯的招聘信息
利用scrapy框架抓取腾讯的招聘信息，爬取地址为：https://hr.tencent.com/position.php 抓取字段包括：招聘岗位，人数，工作地点，发布时间，及具体的工作要求和工作任务 最终结果保存为两个文件，一个文件放前面的四个字段信息，一个放具体内容信息 1.网页分析 ...
利用 Scrapy 爬取知乎用户信息
下： 新建spider项目： 二、这里以爬取知乎大V轮子哥的用户信息来实现爬取知 ...
利用selenium实现自动翻页爬取某鱼数据
基本思路: 首先用开发者工具找到需要提取数据的标签列表: 利用xpath定位需要提取数据的列表 然后再逐个提取相应的数据: 保存数据到csv: 利用开发者工具找到下一页按钮所在标签: 利用xpath提取此标签对象并返回： 调用点击事件,并循环上述过程: 最终 ...