特别说明： 因为早些时候鼠绘的接口调整，之前的代码已经不能用了。 正好最近在学习scrapy，于是重新写了一个，项目放在github https://github.com/TurboWay/ishuhui 一、起因： 　　很喜欢看海贼漫画，其中鼠绘汉化的海贼王无疑是 ...

最近无聊整理的爬虫代码，可以自动爬取腾讯动漫的任意漫画，思路如下： 1. 先获取想下载的动漫url， 这里用了 getUrls ，直接获取动漫的最后一章 2. 然后进入到该动漫去获取要下载的图片url 3. 下载到本地 import os import random ...

例子：爬取笔趣阁的小说圣墟 1.爬取小说章节的URL ...

Python爬虫爬取动态网页 我们经常会遇到直接把网页地址栏中的url传到get请求中无法直接获取到网页的数据的情况，而且右键查看网页源代码也无法看到网页的数据，同时点击第二页、第三页等进行翻页的时候，网页地址栏中的url也没变，这些就是动态网页，例如：http ...

...

　　众所周知，动态网站通常使用例如ajax等异步加载技术来加载网页，相比于静态网页，动态网页通常包含多个请求，且数据往往并不存在于网页源码中，我们便需要通过抓包来寻找数据所在的请求并分析，编写响应的爬虫代码。动态网站的爬取包含下以下三个步骤：抓包，分析参数，提取数据。（以下使用爬取b站评论来作 ...

1.首先创建爬虫项目 2.进入爬虫 　class SeleniumRequestDownloadMiddleWare(object): 　　　　super(SeleniumRequestD ...

这段时间看《海贼王》，这部超长动画，看了几集，觉得不是单纯的娱乐这么简单。一艘船就类似于一家公司，其中也透露着作者的一些企业家的理念，其中，主角路飞的团队建设即为一例，如果将路飞在伟大航路的历程比拟为创业的历程，他们的海贼船比拟为他们的公司的话，品味起来还是蛮有意思的。 先说一说草帽公司的创始人 ...