【nodejs爬虫】使用async控制并发写一个小说爬虫
最近在做一个书城项目，数据用爬虫爬取，百度了一下找到这个网站，以择天记这本小说为例。 爬虫用到了几个模块，cheerio，superagent，async。 superagent是一个http请求模块，详情可参考链接。 cheerio是一个有着jQuery类似语法的文档解析模块，你可以简单 ...
原文：Python写的一个GUI界面的小说爬虫软件
一个小说的爬虫，带GUI界面的 主要功能 .多线程提取 可使用代 过 过滤理 . 实时输出过程 . 一本书的txt文件 使用方法 . 首先配置好python 环境， .新建一个空目录，在此目录下要新建start.py文件，将源码复制在start.py文件内 . 在此目录下打开 cmd.exe，执行命令 python m venv 。 .分别 pip install requests pip ins ...
2022-02-10 12:55 0 833 推荐指数：
相关推荐
想起以前写的一个爬虫，然后就用C#WinForm写了一个下载小说的软件，比较简单
本软件本是练习、讨论爬虫技术所用。如果侵犯了您的利益请联系我，我会立即删除！ 小工具安装包： 百度网盘链接：https://pan.baidu.com/s/1m_OuEBOEE47kYaXq5fwpIg 提取码：w4p1 下面附上源码，如有不同意见还请赐教！ 百度网盘链接：https ...
用Node.js写一个爬虫来爬小说
小说就准备点天下霸唱和南派三叔的系列，本人喜欢看，而且数据也好爬。貌似因为树大招风的原因，这两作者的的书被盗版的很多，乱改的也多。然后作者就直接在网上开放免费阅读了，还提供了官网，猜想作者应该是允许爬虫来爬内容的。《盗墓笔记》和《鬼吹灯》系列这两官网从第一眼的界面风格来看还差不多，最后发现还真是 ...
Python从零开始写爬虫-4 解析HTML获取小说正文
Python从零开始写爬虫-4 解析HTML获取小说正文 在上一节中, 我们已经学会如何获取小说的目录, 这一节我们将学习如何通过正则表达式(在第二节学习过)来获取小说正文. 首先, 先随便选择一个章节, 作为例子, 我们就以 "吞噬星空第一章:罗峰"为例子, 来进行我们的学习. 首先依然式 ...
Python爬虫-爬小说
用途 用来爬小说网站的小说默认是这本御天邪神，虽然我并没有看小说，但是丝毫不妨碍我用爬虫来爬小说啊。 如果下载不到txt，那不如自己把txt爬下来好了。 功能 将小说取回，去除HTML标签 记录已爬过/未爬过的章节 从最后爬过那一页开始继续爬，不会重复爬取爬过的目录 因为爬过 ...
python使用tkinter写带界面的工具
python一般用来写纯脚本的居多，但也可以做有视图的产品出来，例如做网页和客户端工具。做成工具的好处是，让不懂代码的人也能使用，不需要去修改代码里面的参数，如果使用次数频繁，甚至比纯脚本跟节约时间；最大的好处是打包后可以运行在任何没有安装脚本中第python三方包的电脑上，也可以运行 ...
python制作GUI界面---搞定软件界面编程
最近在搞python编的小软件弄个界面，看了半天，我这种编程初级小白选择了pyqt5， 在pyqt5的入门上又遇到了阻拦，发现了pyqt5的快捷清晰细致的教程，转载一下，分享给和我一样小白但也要努力干活的圣斗士--奋斗！！！！ https://blog.csdn.net ...
使用python做一个爬虫GUI程序
整体思路和之前的一篇博客爬虫豆瓣美女一致，这次加入了图片分类，同时利用tkinter模块做成GUI程序 效果如下： 整体代码如下： 关键点： 1.如何使用tkinter调用系统路径 2.构造url，参数化图片分类、抓取页数 3.使用tkinter获取输入参数传给执行 ...