初学Python，用python写的一个简单爬虫，爬取自己博客园上面的所有文章。 爬取后的网页会保存在项目的根目录下，暂时未支持js、css等文件的爬取，所以页面显示效果会比较差。 ...

第一次实战，我们以博客园为例。 Cnblog是典型的静态网页，通过查看博文的源代码，可以看出很少js代码，连css代码也比较简单，很适合爬虫初学者来练习。 博客园的栗子，我们的目标是获取某个博主的所有博文，今天先将第一步。 第一步：已知某一篇文章的url，如何获取正文？ 举个栗子 ...

先导知识 官方教程 简单爬虫编写 Maven配置 第一个爬虫：博客园 特别注意 无意中发现了这个框架，真正的传说中的傻瓜爬虫框架，用来写简单爬虫很方便，也能够通过多写一些代码写复杂爬虫，作者是中国人，看文档就能学会这个框架的使用，我这里简单 ...

今天在 博客园 看到一篇文章： 《网络爬虫+HtmlAgilityPack+windows服务从博客园爬取20万博文》 于是 心血来潮，立即动手 用 50 行代码，完成 博客园 文章扒取。 并非哗众取宠，有图有真相 —— 直接上图。 并非恶意攻击 博客园 —— 所以只扒取 10页数 ...

要求 第一部分： 请分析作业页面，爬取已提交作业信息，并生成已提交作业名单，保存为英文逗号分隔的csv文件。文件名为：hwlist.csv 。 文件内容范例如下形式： 学号,姓名,作业标题,作业提交时间,作业URL 20194010101,张三,羊车门作业 ...

Python爬虫爬取博客园并保存 爬取博客园指定用户的文章修饰后全部保存到本地 首先定义爬取的模块文件： crawlers_main.py 执行入口 url_manager.py url管理器 download_manager.py 下载模块 ...

爬取用户提交关键字在博客园搜索出来的文章，一页十篇，共50页，获取标题，内容，发表时间，推荐量，评论量，浏览量 写入sql server数据库，代码如下; 查看数据库内容： done ...

其实写这篇文章，我是很忐忑的，因为爬取的内容就是博客园的，万一哪个顽皮的小伙伴拿去干坏事，我岂不成共犯了？ 好了，进入主题。 首先，爬虫需要用到的模块有： express ejs superagent （nodejs里一个非常方便的客户端请求代理模块） cheerio ...