Python爬虫实现统计博客园博文数量、阅读量、评论数
如何使用 只需要将代码中的headurl替换以下格式，其中你只需要改变以下链接的阴影部分，阴影部分为你的博客园链接。 原理 使用requests爬取网页，再使用BeautifulSoup解析网页，获取数据、对数据做了预处理，最后使用正则匹配，匹配出需要 ...
原文：python——关于简单爬取博客园班级成员发的博文的题目、发布人、阅读、评论，再存到csv文件中
因为老师要以班里每个人发的博客质量作为最后总成绩的评定的一部分，就要把班上所有同学发的博客都统计起来，可以用来评定的因素有：阅读 评论 推荐等，但因为今天只是做一个简单的爬取，推荐这个元素在班级博客中需要点开每一篇博文才能看到获取，就不爬取了，只爬取阅读和推荐，加上每篇博文的发布人和标题。 我先会放上代码，再逐条解释其含义及作用。 代码如下 其中爬取的网页是以我自己的班级为例 ： 开头是将要用到的 ...
2019-09-26 20:55 6 161 推荐指数：
相关推荐
nodejs爬取博客园的博文
其实写这篇文章，我是很忐忑的，因为爬取的内容就是博客园的，万一哪个顽皮的小伙伴拿去干坏事，我岂不成共犯了？ 好了，进入主题。 首先，爬虫需要用到的模块有： express ejs superagent （nodejs里一个非常方便的客户端请求代理模块） cheerio ...
Python爬取新浪微博评论数据，写入csv文件中
因为新浪微博网页版爬虫比较困难，故采取用手机网页端爬取的方式 操作步骤如下： 1. 网页版登陆新浪微博 2.打开m.weibo.cn 3.查找自己感兴趣的话题，获取对应的数据接口链接 4.获取cookies和headers 至于爬出来的数据有非中文的数据 ...
Python 爬虫入门——小项目实战（自动私信博客园某篇博客下的评论人，随机发送一条笑话，完整代码在博文最后）
之前写的都是针对爬虫过程中遇到问题的解决方案，没怎么涉及到实际案例。这次，就以博客园为主题，写一个自动私信博客下的评论人员（在本篇留下的评论的同学也会被自动私信，如果不想被私信，同时又有问题，请私信我）。 1).确定监控的博客，这里以http://www.cnblogs.com ...
网络爬虫+HtmlAgilityPack+windows服务从博客园爬取20万博文
1.前言 最新在公司做一个项目，需要一些文章类的数据，当时就想到了用网络爬虫去一些技术性的网站爬一些，当然我经常去的就是博客园，于是就有下面的这篇文章。 程序源码:CSDN下载地址 2.准备工作 我需要把我从博客园爬取的数据，保存起来，最好的方式当然是保存到数据库中去了，好了我们先建一个 ...
博客园-博文自动发布工具
博客园-博文自动发布工具 1、介绍 该工具内置自动将本地的markdown文件通过metaWebBlog协议上传到博客园（也可以是其他支持该协议的博客网站），并内置图床功能，省去编写博文时上传图片的麻烦。该工具配合typora markdown编写工具是最佳组合。实时预览与数学公式及希腊字母 ...
Python爬取数据并保存到csv文件中
1、数据源 2、Python代码 import requests from lxml import etree import csv url = 'http://211.103.175.222:5080/zentaopms/www/index.php?m ...
联名强烈要求将卑劣小人天天恶意污辱诋毁他人与作品整日到处抹屎的博客园毒瘤garbageMan（薛非）赶出博客园！支持的博友请发评论并点支持！
garbageMan（薛非）的卑劣行径的详细全文见： http://www.cnblogs.com/jnnybob/p/3510051.html 以下为上文的部分摘录（强烈 ...