1.背景 　　一般我们进行小说网的爬取，大致思路都是先获取小说网页的html内容，然后使用正则表达式找到对应的章节以及其对应的url。BeautifulSoup是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。 它提供简单又常用 ...

1. 什么是Requests？ 　　Requests是用Python语言编写的，基于urllib3来改写的，采用Apache2 Licensed 来源协议的HTTP库。 　　它比urllib更加方便，可以节约我们大量的工作，完全满足HTTP测试需求。 　　一句话---Python实现的简单 ...

前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 前文 01、python爬虫入门教程01：豆瓣Top电影爬取 基本开发环境 Python 3.6 Pycharm 相关模块的使用 requests ...

# _*_ coding:utf-8 _*_ import requests import threading from bs4 import BeautifulSoup import re import os import time req_header={ 'Accept ...

　　最近在学习 Python，觉得爬虫很好玩，今天我准备爬取我看了至少三遍的小说《雪中悍刀行》，作者是烽火戏诸侯，他的小说很有才华，有着很多的粉丝，但他很多部小说都处于断更状态，因此人称大内总管。 　　我准备爬取小说的网站是新笔趣阁，这里一个盗版网站，是名门正派的眼中钉，不过对于我这种不想交钱 ...

下午打开手机，无意间看到了被我搁在角落的起点小说，。。想起来好久都没看小说了，之前在看净无痕的新作品《伏天氏》，之前充起点币看了大概两百章左右，现在已经更到800+章了，直接充起点币有点舍不得。。。 想起之前自学爬虫在笔趣阁测试爬小说，所以。。。 那就再来爬一波《伏天氏 ...

爬取笔趣阁小说（搜索+爬取） 首先看看最终效果（gif）： 实现步骤：1.探查网站“http://www.xbiquge.la/”，看看网站的实现原理。 　　　　　2.编写搜索功能（获取每本书目录的URL）。 　　　　　3.编写写入功能（按章节写入文件）。 　　　　　4.完善代码 ...

　　这几天朋友说想看电子书，但是只能在网上看，不能下载到本地后看，问我有啥办法？我找了好几个小说网址看了下，你只能直接在网上看，要下载txt要冲钱买会员，而且还不能在浏览器上直接复制粘贴。之后我就想到python的爬虫不就可以爬取后下载吗？ 　　码源下载： 　　　　https ...