一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器，每隔一段时间换一 ...

一、获取一个有登录信息的Cookie模拟登陆 下面以人人网为例，首先使用自己的账号和密码在浏览器登录，然后通过抓包拿到cookie，再将cookie放到请求之中发送请求即可，具体代码如下： ...

程序说明：抓取斗鱼直播平台的直播房间号及其观众人数，最后统计出某一时刻的总直播人数和总观众人数。 过程分析： 一、进入斗鱼首页http://www.douyu.com/directory/all ...

目标任务：使用requests抓取电影网站信息和下载链接保存到数据库中，然后使用flask做数据展示。 爬取的网站在这里 最终效果如下： 主页： 可以进行搜索：输入水形物语 点 ...

一、准备工作（找到所需网站，获取请求头，并用到请求头） 找到所需爬取的网站（这里举拉勾网的一些静态数据的获取）----------- https://www.lagou.com/zhaopin ...

淘宝商品信息定向爬虫 功能描述 （1）目标：获取淘宝搜索页面信息，提取其中商品的名称和价格 （2）技术路线：Requests-Re 接口描述 （1）搜索接口：https://s.tao ...

程序功能说明：爬取百度贴吧帖子中的图片，用户输入贴吧名称和要爬取的起始和终止页数即可进行爬取。 思路分析： 一、指定贴吧url的获取 例如我们进入秦时明月吧，提取并分析其有效url如下 htt ...

批量下载百度网站图片 获取图片的url链接 首先，打开百度图片首页，注意url中的index，将index修改成flip即可把瀑布流页面切换成传统翻页版（flip），这样有利于观察不同页数的u ...