爬取博主所有文章并保存到本地（.txt版）--python3.6
闲话： 一位前辈告诉我大学期间要好好维护自己的博客，在博客园发布很好，但是自己最好也保留一个备份。 正好最近在学习python，刚刚从py2转到py3，还有点不是很习惯，正想着多练习，于是萌生了这个想法——用爬虫保存自己的所有文章 在查了一些资料后，慢慢的有了思路。 正文： 有了上面 ...
原文：python：爬取博主的所有文章的链接、标题和内容
以爬取我自己的博客为例：https: www.cnblogs.com Mr choa 获取所有的文章的链接： 博客文章总共占两页，比如打开第一页：https: www.cnblogs.com Mr choa default.html page 的HTML源文件 每篇博客文章的链接都在a标签下，并且具有class属性为 postTitle ，其href属性就指向这篇博文的地址 lt a class ...
2020-04-02 13:58 1 1512 推荐指数：
相关推荐
python3.5爬虫-爬取微博某博主微博内容
想要爬取某个博主的微博数据。在网络上寻找了很多关于爬取微博内容的教程，发现有些教程比较老旧了，已经无法再用，有些教程在我这里出现一些问题，比如爬取移动端的微博需要获取登陆cookie，而我的谷歌浏览器却无法显示，如下图所示。最终发现一博主分享的源码，亲测可用。博客链接为：https ...
爬取博主的所有文章并保存为PDF文件
继续改进上一个项目，上次我们爬取了所有文章，但是保存为TXT文件，查看不方便，而且还无法保存文章中的代码和图片。 所以这次保存为PDF文件，方便查看。 需要的工具： 1、wkhtmltopdf安装包，下载并安装到电脑上，可使用 pip安装 ，注意环境变量的配置。具体参见下面的资料 ...
Python 爬取B站（Bilibili.com）UP主的所有公开视频链接及信息
原文链接：https://blog.xieqiaokang.com/posts/36033.html Github：https://github.com/xieqk/Bilibili_Spider_by_UserID Gitee：https://gitee.com/xieqk ...
爬取微博文章内容，关键字搜索爬取
# coding:utf-8 import requests import json from bs4 import BeautifulSoup # 搜索页面 def get_home_pag ...
微博内容爬取
在成功获取微博用户的列表之后，我们可以对每个用户的主页内容进行爬取了 环境 tools 1、chrome及其developer tools 2、python3.6 3、pycharm Python3.6中使用的库 爬取字段确定 首先，我们只管的浏览 ...
python 爬取文章
这里我们利用强大的python爬虫来爬取一篇文章。仅仅做一个示范，更高级的用法还要大家自己实践。 好了，这里就不啰嗦了，找到一篇文章的url地址：http://www.duanwenxue.com/article/673911.html （注意，有一些网站会做一些反爬处理 ...
python爬虫实战（六）--------新浪微博（爬取微博帐号所发内容，不爬取历史内容）
相关代码已经修改调试成功----2017-4-13 详情代码请移步我的github：https://github.com/pujinxiao/sina_spider 一、说明 1.目标网址：新浪微博 2.实现：跟踪比较活跃的微博号所发的微博内容，隔3-5分钟刷新（爬取）一次，只有更新了才爬 ...