目的是下载一个网站所有分类的小说，并且按照分类自动创建目录、根据小说名保存为txt文件。 一、抓取思路： 　　我的思路是百度一个小说网站，找到一本小说的章节页，使用requests、BeautifulSoup测试是否能 正常下载。如果能正常下载，进行下一步。 二、操作顺序 ...

随便说点什么 　　因为在学python，所有自然而然的就掉进了爬虫这个坑里，好吧，主要是因为我觉得爬虫比较酷，才入坑的。 　　想想看，你可以批量自动的采集互联网上海量的资料数据，是多么令人激动啊！ 　　所以我就被这块大蛋糕吸引过来了 :) 　　想学爬虫自然要去找学习资料了，不过网上 ...

一、目标 排行榜的地址：http://www.qu.la/paihangbang/ 找到各类排行旁的的每一部小说的名字，和在该网站的链接。 二、观察网页的结构 很容易就能发现，每一个分类都是包裹在： 之中，这种条理清晰的网站，大大方便了爬虫的编写。 在当 ...

　　此程序只是单纯的为了练习而做，首先这个顶点小说非收费型的那种小说网站（咳咳，我们应该支持正版，正版万岁，✌）。经常在这个网站看小说，所以就光荣的选择了这个网站。此外，其实里面是自带下载功能的，而且支持各种格式:（TXT,CHM,UMD,JAR,APK,HTML),所以可能也并没有设置什么反爬 ...

...

学习了Python3 爬虫实战教程_w3cschool的教程 第一次做爬虫，练手网站是笔趣阁（http://www.ibiqu.net/），反正他们也是爬别人的 ^_^! 将源码贴出来给和我一样的菜鸟参考，代码有点乱，没有写def，也没有做什么优化。 有两个引用的库得单独安装一下 pip ...

很多时候想看小说但是在网页上找不到资源，即使找到了资源也没有提供下载，小说当然是下载下来用手机看才爽快啦！ 于是程序员的思维出来了，不能下载我就直接用爬虫把各个章节爬下来，存入一个txt文件中，这样，一部小说就爬下来啦。 这一次我爬的书为《黑客》，一本网络小说，相信很多人都看过吧，看看他的代码 ...

以前挺爱在笔趣阁看小说的（老白嫖怪了） 现在学了一点爬虫技术，就自然而然的想到了爬取笔趣阁的小说 也算锻炼一下自己的技术，就以新笔趣阁开始 分析 对每一个小说目录界面的url还是很容易得到的 如圣墟：http://www.xbiquge.la ...