一切都要从一只蝙蝠说起。。 因为疫情原因，这个月远程办公(摸鱼)，看漫画花了1000多大洋，看着自己的支付宝余额，起了白嫖的邪念。。 网上有些漫画网站，点击下一页的时候，会跳出某些网站，十分不便，而且每次换页都需要点击，所以我决定把漫画全都爬下来，每章拼接成一张长图，可以看得舒服一些 工具 ...

目录 操作环境 网页分析 明确目标 提取漫画地址 提取漫画章节地址 提取漫画图片 编写代码 导入需要的模块 获取漫画地址 提取漫画的内容页 提取章节名 获取漫画源网页代码 ...

import requests import urllib.request as ur from bs4 import BeautifulSoup import csv import threa ...

一.指定模板创建爬虫文件 命令 创建成功后的模板，把http改为https 二.CrawSpider源码介绍 　　1.官网介绍： 　　　　这是用于抓取常规网站的最常用的蜘蛛，因为它通过定义一组规则为跟踪链接提供了便利的机制。它可能不是最适合您的特定网站或项目 ...

抓取漫画的网址是：sf互动传媒 抓取漫画的由来也是看了知乎上有人说用爬取漫画，然后自己也玩玩 首页中每个漫画的url是类似这样存储的： 然后用lxml通过cssselect(tr>td>a)将能用到的解析出来，然后解析出来会有很多其他的页面的url和信息 ...

爬取网站：https://www.169tp.com/xingganmeinv 该网站美眉图片有数百页，每页24张，共上万张图片,全部爬取下来 运行截图: 图片名命名规则:存储路径+页码+下划线+图片号+.jpg 图片文件夹截图: ...

1、主要思路 　　获取京东所有商品列表：https://www.jd.com/allSort.aspx，大概有分类1190条 　　 　　连接格式为：https://list.jd.com/l ...

加密，混淆，逆向 参考博客：链接 一.中国空气质量在线监测平台 1.网站分析 网址：https://www.aqistudy.cn/html/city_detail.html 该网站所有的空气质量数据都是基于图表进行展示的，说明白一点就是将后端返回的数据 ...