我是一个大二的学生，也是刚接触python，接触了爬虫感觉爬虫很有趣就爬了爬天涯论坛，中途碰到了很多问题，就想把这些问题分享出来， 都是些简单的问题，希望大佬们以宽容的眼光来看一个小菜鸟😄，这也是我第一次写博客，代码有哪里写的不好的地方，需要改进的地方希 望大家也可以帮我指出。 用到的包 ...

...

发帖没多久，算法就更新了，就算我重新分析，人家依然会更新，所以还是自己学着分析吧。 对于现在 POST 技术满天飞的时代，防机器人确实是很头疼的一件事情，类似流量精灵这样的东西，他可以做到 100% 的真实信息，大批量的访问。当然今天不谈这些，只是分析下 天涯论坛 回复时的验证策略。 昨天谈到 ...

　　每日一练，每日一博。 　　Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 1.确定目标网站：豆瓣电影 http://movie.douban.com ...

一、先上效果 　　 二、安装Scrapy和使用 　　官方网址：https://scrapy.org/。 　　安装命令：pip install Scrapy 　　安装完成，使用默认模板新建一个项目，命令：scrapy startproject xx 　　 　　上图很形象的说明 ...

功能点：如何爬取列表页，并根据列表页获取详情页信息？ 爬取网站：东莞阳光政务网 完整代码：https://files.cnblogs.com/files/bookwed/yangguang.zip 主要代码： yg.py pipelines.py ...

最近发现天涯论坛是一个挺有意思的网站，有各种乱七八糟的帖子足以填补无聊时候的空虚感，但是相当不爽的一件事就是天涯的分页模式下想连贯的把楼主的内容看完实在是太心酸了，一个999页的帖子，百分之九十都是无聊网友的灌水，有时候连续翻几十页才能找到楼主的一条内容。所以无聊之下，就打算写一个简单的爬虫 ...

功能点：如何爬取图片，并保存到本地 爬取网站：斗鱼主播 完整代码：https://files.cnblogs.com/files/bookwed/Douyu.zip 主要代码： douyu.py pipelines.py ...